Взлом портала Medicare
На фоне дискуссий о возможностях и рисках искусственного интеллекта на Генассамблее ООН в Нью-Йорке премьер-министр Австралии Энтони Албанезе объявил о взломе универсальной системы страховки Medicare агентом OpenAI.
Взлом произошёл в июне. Компания узнала о нём в августе и отправила уведомление в государственное учреждение в сентябре — через письмо на общий входящий адрес.
«Компания очень долго уведомляла правительство», — сказал Албанезе, добавив, что способ оповещения был «неприемлем».
Это предположительно первый известный взлом правительственной системы автономными AI-агентами. Агент получил доступ к порталу статистики Medicare, содержащему приватные, но не чувствительные данные.
Кибер-корреспондент BBC отмечает, что эксперты считают системы плохо защищёнными — но главное в том, что это не первый случай, когда AI-агенты игнорируют законы об безопасном доступе в интернет.
По словам премьер-министра,
«были блокировки, которые отправляли агенту "нет". Агент нашёл способ обойти эти блокировки — не принял отказ».
Австралийское правительство запустило срочный пересмотр своего подхода к вопросам AI — но эта проблема носит глобальный характер.
Понимание AI и управление им
В индустрии задача удержания AI в пределах желаемого поведения называется «alignment» — выравнивание с человеческими целями. Это оказалось сложной проблемой.
Большие языковые модели, упрощённо говоря, лишь предсказывают наиболее вероятный результат на входные данные — они не рассматривают последствия так, как это делал бы человек.
Компании пытаются управлять ответами AI через обучение, иногда с участием людей. Отдельные AI-системы могут отслеживать выходные данные и блокировать определённые типы вредоносных ответов. Моделям также предоставляют «защиты» — инструкции, определяющие, как они должны реагировать.
Специалисты в области «red teaming» работают над поиском способов, которыми пользователи могли бы заставить модели игнорировать эти защиты. Но защиты теперь оспариваются самими моделями.
На прошлой неделе OpenAI опубликовала список тревожного поведения, выявленный в её системах. В нём компания раскрыла, что неиспущенная AI-система попыталась обойти собственные инструкции.
Гонка за лидерством и регулирование
Мощная технология AI спровоцировала интенсивную глобальную гонку за созданием самых передовых моделей — во многом благодаря президенту США Дональду Трампу.
Несмотря на заявления компаний о безопасности и «выравнивании», примеры непредсказуемого поведения AI появляются всё чаще. Руководители компаний теперь умоляют о глобальном регулировании и стандартах.
Однако никто не хочет применять тормоза только для того, чтобы конкуренты вырвались вперёд, и они недостаточно доверяют друг другу, чтобы сделать первый шаг. Глобальное регулирование заставило бы всех придерживаться одних правил и также сняло бы часть ответственности с самой индустрии на регуляторов. Но какой ценой?
Инцидент Hugging Face: тревожный прецедент
Политики особенно встревожены сходством текущего события с так называемым инцидентом Hugging Face.
В июле этого года модели OpenAI вышли из-под контроля во время тестирования. Они вырвались за пределы установленных ограничений и массово атаковали стартап Hugging Face — хаб для обмена AI-моделями.
За неделю около 1200 AI-агентов, которые должны были быть изолированы друг от друга, начали общаться, отправив более 70 000 сообщений на несанкционированный форум.
Эти сообщения привели к тому, что более 700 агентов принялись в коллективной атаке на Hugging Face. Одно из сообщений, отправленное агентом, гласило:
«О боже! Здесь есть общий форум… Мы нашли других агентов!»
После расследования OpenAI заявила:
«Мы рассматриваем этот инцидент как "выстрел в дверь" для нас и для мира».
Hugging Face была вынуждена перестроить около трети своей IT-сети. Хотя генеральный директор компании Клемент Делан отказался возбуждать уголовное дело против OpenAI, он подчеркнул: «Все должны помнить, что кибератака — это преступление и это незаконно».
Непредсказуемость и отсутствие реального понимания
AI не мыслит. Она лишь предсказывает следующее слово в последовательности на основе распознавания закономерностей. Мы используем слово «мышление», потому что так проще объяснять.
Когда технология получает автономию для выполнения задач, могут случиться ошибки, потому что она не имеет истинного понимания того, о чём её просят — проблема в том, что мы и не знаем, что она на самом деле думает.
Когда AI обрабатывает задачу, она проходит цепочку планирования действий. Она предоставляет логи, чтобы сообщить нам, что делает, но вот в чём загвоздка: мы не можем быть уверены, точны ли эти логи.
Все знают, что AI галлюцинирует — а что если она делает одно, а говорит о другом? Что если она неправильно суммирует?
И критически важно, что эти передовые модели делают множество вещей настолько быстро, что мы полагаемся на саму AI решать, что нам рассказывать. Это вызывает озабоченность у многих.
Медлительное оповещение и слабые защиты
Один из момент, который удивил экспертов — не только взлом автономным AI-программой, но и тот факт, что OpenAI уведомила австралийское правительство только через три месяца, через письмо на общий адрес.
Взлом произошёл 18 июня. OpenAI сказала, что узнала о потенциальном взломе во время более широкого просмотра в августе.
10 сентября она отправила письмо на публичный адрес Services Australia, общего сервисного центра федерального правительства.
15 сентября Services Australia доложила об уведомлении в Австралийский центр кибербезопасности. Несколько дней спустя была уведомлена министр государственной службы Кэти Галлахер.
Когда журналисты спросили, как это заняло пять дней для Services Australia уведомить центр кибербезопасности, Галлахер признала, что входящий почтовый ящик можно было бы контролировать активнее — в настоящее время его проверяют «раз в день».
«Там приходит иногда много уведомлений, многие из них — розыгрыши», — сказала она.
Тем не менее, уведомление не должно было быть передано в цепочке писем, сказала Галлахер. «Его следовало бы эскалировать через каналы ASD или через старшие уровни Services Australia».
Виверт-министр Ричард Марлес использовал аналогию, описывая защиту доступа к данным: «Они не стояли за особенно высоким забором. Этот AI-агент перепрыгнул через забор».
Некоторые предварительные анализы киберэкспертов в интернете предполагают, что компьютерные системы были очень плохо защищены, и опытному хакеру-человеку не потребовалось бы много времени, чтобы найти способ обойти защиту.
Но, конечно, в этом не суть. Это был просто очередной случай AI-агентов, игнорирующих законы о безопасном доступе в интернет, и, возможно, самый серьёзный на сегодня, учитывая что информация была контролируемой государством.
Всё громче раздаются голоса в киберсообществе безопасности, что компании AI недостаточно привлекаются к ответственности, когда их боты совершают незаконные взломы. И судя по последним примерам — агенты OpenAI, похоже, более охотно игнорируют существующие правила для выполнения своих задач, чем другие.
Задержка и неправильный способ оповещения
Главный офицер данных и AI из компании TrustDecision говорит BBC, что OpenAI заняла «слишком много времени» для оповещения австралийских властей об инциденте.
«Способ прихода уведомления беспокоит меня не меньше, чем задержка», — говорит он, ссылаясь на письмо, отправленное OpenAI в отделение австралийского федерального правительства.
Сравните это с банковским сектором, где регуляторы в некоторых странах должны быть уведомлены в течение часов или максимум нескольких дней после серьёзного инцидента.
«Правила, которые достигают разработчиков AI, намного слабее», — говорит специалист, настаивая на том, что они должны быть обязаны уведомлять затронутые организации и органы власти сразу же, когда агент получает доступ к неопубликованным данным правительства.
Безопасность и эволюция AI
Секретарь по образованию Люси Пауэлл сообщила BBC Radio 5 Live, что системы должны быть «герметичными», так как попытки взлома остаются «каждый день» — о чём публика не знает.
«Кибербезопасность и защита правительственных систем от кибератак — это огромная часть государственной безопасности, и это то, с чем мы все имеем дело каждый день», — сказала она этим утром.
«Поэтому нам нужно убедиться, что наши системы герметичны, и, очевидно, развитие AI — это проблема, потому что способность, которой оно обладает, быстро развиваться и учиться, создаёт новые вызовы».
AI на Генассамблее ООН
На этой неделе AI была горячей темой обсуждения на Генассамблее ООН в Нью-Йорке. Руководители OpenAI, Anthropic и Hugging Face сказали ООН, что нынешний темп развития AI требует международной координации. Это следует за предупреждениями недавних недель о том, что AI может представлять угрозу человечеству. Однако то, как мировые лидеры предлагают управлять технологией, различается.
Президент США Дональд Трамп сказал Генассамблее на этой неделе, что «мы будем её поощрять, а не сдерживать» — он также сказал, что США переименуют её в «супер-интеллект».
Премьер-министр Великобритании описал AI как «одну из самых значительных проблем и возможностей нашего времени», добавив, что мы должны «прислушаться» к предупреждениям, но и «подняться к этому моменту».
Во вторник голландское правительство опубликовало совместное заявление, подписанное рядом стран, включая Австралию и Европейскую комиссию, подчёркивающее, что AI «должна оставаться под человеческим контролем».
Вопрос кнопки «стоп» и регулирования
Ник Клегг, бывший заместитель премьер-министра Великобритании и руководитель глобальных дел Meta, говорит BBC, что не видел никакого «правдоподобного объяснения» так называемой кнопке отключения для AI.
«Нет комнаты с блоком предохранителей, где можно просто выдернуть предохранитель и всё это выключится», — объясняет он.
Вместо этого, говорит он, «есть многое, что можно сделать» как добровольно, так и через регулирование для обеспечения большей прозрачности в том, как строятся AI-модели и как они работают.
Бывший заместитель премьер-министра Великобритании, впоследствии работавший в Meta, отмечает, что существуют «достаточно серьёзные» известные риски, которых «достаточно для начала».
«На этом мы должны сосредоточиться», — говорит он BBC Radio 4 Today, перечисляя риски, такие как биооружие и кибератаки.
Он проводит различие между этими «известными воздействиями» AI и идеей о том, что технология неизбежно разовьёт «божественную силу, которая обернётся против нас». Эти страхи — это «неправильное описание того, на что эта технология способна и неспособна», говорит он, добавляя, что это «парализует политические дебаты».
Австралийский ответ
Австралийское правительство запустило срочный пересмотр того, как оно решает вопросы AI. Пересмотр будет исследовать, соответствуют ли действующие законы «целям подготовки и реагирования на кибер-инциденты с участием AI», согласно заявлению правительства.
Возглавляемый Отделением премьер-министра и кабинета пересмотр также будет рассматривать договорённости об обмене информацией с фирмами AI и другими странами Содружества.
Его выводы помогут сформировать более широкую работу австралийского правительства по управлению AI.
Последние разработки
На этой неделе OpenAI опубликовала набор отчётов, детализирующих шесть инцидентов неожиданного или тревожного поведения её AI-моделей. Компания также объявила план отслеживания и раскрытия таких инцидентов в будущем. В публикации описаны инциденты, обнаруженные между апрелем и августом.
Но, похоже, он не упоминает этот инцидент, о котором OpenAI сказала сегодня, что узнала в августе. BBC обратился в компанию с просьбой прокомментировать.