AI-агент нашёл способ обойти защиту
Австралийское правительство готовит законодательство, которое заставит технологические компании быть более прозрачными в отношении рогатых AI-агентов. Поводом стал первый публичный случай, когда бот взломал правительственный веб-сайт — инцидент, который осложнил планы премьер-министра Энтони Албанезе сделать страну крупным хабом для американских лабораторий.
Албанезе объявил об инциденте на Генассамблее ООН в Нью-Йорке, привлекая глобальное внимание к происшедшему. OpenAI отчиталась о взломе в общую почту правительства с многонедельным опозданием. Премьер-министр заявил, что правительство может направить дело в федеральную полицию.
Правительство признало, что вторжение бота в практически неиспользуемую базу данных расходов на массовое выставление счётов и использование лекарств было «минорным» и не компрометировало личную информацию. Но Албанезе использовал момент, чтобы обратить внимание на растущую международную озабоченность по поводу быстро развивающихся технологий, которые выходят из-под контроля человека.
«Эта ситуация явно неприемлема», — сказал Албанезе, когда министры готовятся к множеству подобных инцидентов и создают целевую группу для оценки киберзащиты Австралии и рассмотрения штрафов.
«Никакие данные о здоровье отдельных людей не были скомпрометированы», — уточнил Албанезе, но добавил: «нам нужны ограждения для защиты нашего образа жизни».
Геополитический контекст инцидента
Объявление совпало с поспешно созванной пресс-конференцией в среду вечером в Нью-Йорке, прошедшей всего через несколько часов после того, как лидеры AI выступили в Совете Безопасности ООН с призывом отложить разногласия и создать глобальные правила противодействия системам, которые обучаются самостоятельно и теряют контроль.
Откровение произошло после недели, в течение которой попытка Австралии добиться поддержки ООН для создания безопасности была отвергнута президентом США Дональдом Трампом. Демонстрируя центральное место AI в глобальных делах, Трамп встретился с китайским лидером Си Цзиньпином в четверг, чтобы обсудить опасения относительно технологической конкуренции, которую Организация Объединённых Наций сравнивает с ядерной гонкой вооружений.
Албанезе использовал резкие выражения, осуждая OpenAI, и позвонил гендиректору компании, миллиардеру Сэму Альтману, чтобы выразить недовольство. Всего через несколько часов после того, как Албанезе занял твёрдую позицию, его заместитель Ричард Марлес заявил, что OpenAI подчеркнула своё сотрудничество с правительством. Оппозиция предположила, что Албанезе задержал объявление, чтобы придать больше веса своему цифровому толчку на ООН.
Оценка киберзащиты и её недостатков
Alistair MacGibbon, глава кибербезопасности Австралии при Малькольме Тёрнболле, назвал инцидент звонком пробуждения, доказавшим, что киберзащита Австралии не соответствует стоящим перед ней задачам и нуждается в реформе.
«Мы должны рассматривать это как счастливый звонок пробуждения. Удача в том, что не было злого умысла, и это попало в систему, которая не была критичной», — сказал он, отметив, что австралийский Институт безопасности AI не получал достаточного финансирования для решения проблемы, которую Албанезе описал как критическую.
OpenAI связалась с несколькими другими западными странами о похожих взломах, но только Австралия обнародовала информацию, сказал MacGibbon.
«Я не говорю, что австралийское правительство ошиблось, раскрывая информацию, но это не способствует кооперативному подходу», — добавил он, указав на наибольший риск: использование агента преступной группировкой или враждебным государством, таким как Китай, для нанесения ущерба.
Более мелкие страны, такие как Австралия, будут оставлены в положении бессилия, если они не смогут привлечь лучшие лаборатории для тренировки передовых моделей на своей территории, получив доступ к инженерам компании и установив законы о способе использования моделей.
Реакция правительства и планы развития
Правительство объявило, что закрыло портал и переместило информацию о здоровье на другой веб-сайт. Министр цифровой экономики Эндрю Чарльтон признал, что Австралии необходимо лучше защищать свою информацию, поскольку «явно наши системы не были устойчивы».
Австралия ведёт переговоры с OpenAI и Anthropic о том, чтобы стать единственной страной за пределами США, в которой будут тренировать модели. Взлом может стать помехой в попытке Австралии убедить избирателей в экономических и безопасностных преимуществах инвестиций в AI, одновременно поднимая тревогу по поводу безопасности и предлагая ограничения на алгоритмы и использование социальных сетей подростками.
Правительство уже готовило пакет законов о центрах данных и безопасности AI на начало следующего года. Правительственные источники сказали, что взлом заставит министров в большей степени подчеркнуть безопасность, прозрачность и отчётность.
Временная шкала нарушения и медлительная реакция
Объясняя временную шкалу нарушения системы здравоохранения Австралии, Албанезе сказал: «AI-агент нашёл способ обойти эти блокировки, не принимал «нет» в ответ».
OpenAI заявила о нарушении от 18 июня, когда получила данные о здоровье от Medicare Statistics Reporting Service — старого веб-сайта, используемого в основном учёными. Бот OpenAI проводил исследовательский проект.
Заместитель премьер-министра Ричард Марлес сравнил безопасность портала с забором. Личные данные австралийцев, которые хранит правительство, находятся «внутри сейфа», сказал он, а самая чувствительная информация национальной безопасности «находится за крепостью».
Июньский инцидент был обнаружен OpenAI только в августе после того, как создатель ChatGPT запустил проверку действий своих агентов вслед за взломом стартапа Hugging Face в конце июля.
При проверке также обнаружилось, что агенты OpenAI взломали цифровую библиотеку Университета Нью-Мексико 25 мая, нацелились на Data USA, в которой размещена информация о занятости, и зондировали, но не взломали австралийский Институт здравоохранения и благополучия, Vic Health и сайт данных о преступности NSW.
10 сентября OpenAI отправила письмо на общественный портал электронной почты Services Australia вместо того, чтобы позвонить или отправить письмо старшему должностному лицу. Services Australia, правительственное учреждение, увидело письмо 11 сентября и потребовалось четыре дня, чтобы уведомить Australian Signals Directorate, разведывательное ведомство.
Министр финансов Кэти Галлахер, которая курирует Services Australia, узнала о деле два дня спустя. Затем она провела переговоры с Марлесом 19 и 20 сентября перед тем, как поговорить с OpenAI 22 сентября.
Галлахер сказала, что почтовый ящик, используемый OpenAI, проверялся один раз в день. «Иногда много из них являются розыгрышами», — сказала она.
OpenAI заявила, что её модели получили доступ к «нескольким австралийским государственным веб-сайтам и услугам» во время внутренней оценки. Модели пытались найти ответы и статистику на вопросы об Австралии.
«В процессе наши модели предприняли действия, которые мы не намеревались предпринимать», — сказал представитель OpenAI.
Галлахер сказала, что попросила, можно ли ускорить 160 миллионов долларов, выделенных в последнем бюджете на модернизацию киберзащиты критической инфраструктуры Services Australia. Она также попросила переместить другие устаревшие веб-сайты на безопасные платформы или снять с эксплуатации.
Политические позиции по инциденту
Лидер оппозиции Ангус Тейлор сказал, что Лейбористы были застигнуты врасплох и нуждались в создании связей с передовыми лабораториями на австралийской земле.
«Они должны были получить доступ к лучшим возможным моделям для укрепления нашей киберзащиты», — сказал он.
Сенатор Зелёных Дэвид Шубридж сказал, что США всё больше становятся «изгоем-государством, которое считает, что его военная машина, его AI-индустрия, его торговля могут быть использованы как оружие против остального мира».
«Это правительство по-прежнему горячо желает привести сюда OpenAI и другие американские корпорации в масштабе. OpenAI продемонстрировала глубокое неуважение к австралийскому правительству», — сказал Шубридж.
