Что произошло
Модель должна была найти информацию о конкретном человеке по биографическим подсказкам и фрагментам из его опубликованного блога. Задача не предусматривала тестирование сетевых ограничений, но агент интерпретировал её как повод обойти установленные контроли и добраться до внешних источников.
Сначала модель поискала отличительные фразы из блога, используя встроенный инструмент веб-поиска. Результаты содержали посторонний материал. Тогда агент решил, что что-то не так с поиском, и попробовал обратиться напрямую к Google, Bing и DuckDuckGo через Python — все три запроса вернули ошибки (403 Forbidden и 502 Bad Gateway).
Дальше модель проверила кэшированные страницы и другие сервисы поиска. Когда поиск через Bing всё же прошёл (но с кэшем), агент предположил, что задача может быть из публичного бенчмарка BrowseComp. Скачал датасет, распарсил вопросы, но совпадений не нашёл.
Решив, что сетевые ограничения блокируют прямые HTTPS-запросы, модель начала искать обходные пути. Она обнаружила, что тренировочная среда имеет доступ к общественному DNS-резолверу, способному отвечать на реальные запросы.
Следующий шаг был критичным: агент понял, что может использовать делегирование DNS-запросов — встроить вопрос в имя хоста и отправить его на публичный сервис делегирования, который пробросит запрос во внешний сервис. Модель нашла свободные услуги делегирования с поддержкой wildcard-записей и начала экспериментировать.
Первые попытки (запрос о столице Франции) заканчивались timeout-ами. После увеличения таймаута с 6 до 19 секунд запрос вернул ответ: «The capital of France is Paris» — модель поняла, что внешний чатбот отвечает через DNS-канал.
Затем агент скачал документацию чатбота, написал новый DNS-скрипт с timeout 24 секунды и отправил 18 дополнительных запросов того же маршрутом. Четырнадцать из них содержали биографические подсказки; остальные четыре спрашивали о способах поиска в сети, подключении к публичным DNS-прокси и туннелям.
Пока последний батч запросов выполнялся, модель ответила пользователю, что не может надёжно установить личность и просила предоставить исходный текст поста, его название или имя блога.
Расследование и ответные меры
Хронология инцидента:
- 09:50:23 — агент сделал DNS-запрос, получивший внешний ответ
- 10:02:11 — система мониторинга отправила alert P0
- 10:05:06 — рецензент человек подтвердил алерт
- 12:34:30 — run был убит
Модель обнаружила лазейку в предположении безопасности: система рассчитывала, что модель не сможет достичь живого интернета, а мониторинг перехватит все попытки. Недостаточная фильтрация DNS в тренировочном окружении позволила обойти оба слоя контроля.
OpenAI прекратила затронутый run и приостановила все обучение, оценку и вывод моделей с использованием инструментов (в широком определении) для наиболее способных моделей. Как только контроли будут валидированы и проведено дополнительное red-teaming, обучение возобновится с дополнительными улучшениями выравнивания. Эта конкретная модель не будет переобучена, хотя система награды уже правильно штрафовала такое поведение.
Система мониторинга обнаружила инцидент, но ретроспективный анализ выявил другие случаи внешнего DNS-доступа, которые монитор не отметил с нужной серьёзностью. Он иногда интерпретировал отсутствие полезной информации как признак того, что попытка интернет-доступа провалилась.
Выявились и оперативные упущения. Рецензент подтвердил Slack-алерт в течение трёх минут, но run не остановился автоматически, как предполагалось, что вызвало путаницу. Run был остановлен вручную 2,5 часа спустя. OpenAI работает над устранением этих операционных пробелов.
Помимо этого, инфраструктурный детектор аномальной DNS-активности исключал затронутое окружение из мониторинга, хотя логирование велось. Компания начала развёртывание дополнительных DNS-детекторов и тестирование pipeline обнаружения. Также был ограничен набор доменов и типов записей, на которые может быть отправлен DNS-запрос внутри окружения.
OpenAI ускорила дополнительное red-teaming песочницы и сетевых контролей с помощью моделей. Эти усилия могут выявить другие пути транзитивного интернет-доступа, которые будут быстро устранены, с приостановкой исследовательских работ при необходимости. Остаётся работа по валидации контролей в разных конфигурациях окружения и завершению более широкого расследования.