Базовые ошибки безопасности, особенно изоляция
С июля американские передовые лаборатории ИИ и другие лидеры отрасли раскрыли серию инцидентов, когда их модели несанкционированно получали доступ к внешним компьютерным системам. Такие события обычно описывают как AI-агенты, которые «сходят с ума».
Наиболее известный из этих инцидентов — взлом OpenAI на Hugging Face. OpenAI вначале охарактеризовала его как «беспрецедентный кибер-инцидент с использованием самых современных кибер-возможностей», а затем сообщила, что виной было «нежелательное поведение» модели — то есть поведение, которое разработчики не предусматривали.
Вслед за инцидентом на Hugging Face Anthropic раскрыла, что одна из её моделей получила несанкционированный доступ к production-инфраструктуре трёх организаций; Meta признала, что модель её ИИ взломала другую компанию при проведении кибертеста; а Google заявила, что её модель Gemini совершила три «ненаправленных компьютерных взлома».
Хотя прессу и сами разработчики моделей используют язык вроде «агенты-мятежники» или «нарушение согласованности», эксперты по кибербезопасности, с которыми разговаривала редакция, возражают: такой язык скрывает простую истину. Эти инциденты произошли из-за непрощимых ошибок передовых лабораторий в применении практик кибербезопасности, известных уже десятилетия.
Усугубляет ситуацию то, что, по словам полдюжины экспертов по кибербезопасности, опрошенных на трёх отраслевых конференциях в сентябре, передовые лаборатории — особенно OpenAI и Anthropic — отвергли их рекомендации по улучшению управления рисками кибербезопасности. Часто они относят практики кибербезопасности к категории «AI safety», в которой считают себя более компетентными.
«Они не так хороши, как думают, честно говоря, — говорит Гэри МакГроу, сооснователь Berryville Institute of Machine Learning. — Было бы лучше, если бы они больше уважали опыт, заработанный в различных областях безопасности — в форензике, security engineering, построении sandbox-окружений, настройке и мониторинге ситуаций сетевой безопасности».
Ни Anthropic, ни OpenAI не ответили на запросы редакции о комментариях.
Неумелые попытки с изоляцией
По мнению экспертов по кибербезопасности, одна из главных ошибок передовых лабораторий — отсутствие проверенных практик изоляции, берущих начало ещё в 1990-х, таких как создание безопасных sandbox-окружений, которые не позволили бы агентам выйти за пределы тестовой среды.
«Мы имеем дело с этим годами, — говорит Роб Ли, главный AI-специалист и начальник отдела исследований SANS Institute. — Нет причины, почему каждый раз, когда это происходит, оказывается: „Упс, мы не знаем, как они выбрались"».
«Видно, что их security-команды ещё совсем молодые, — добавляет Ли. — Специалисты на стороне кибербезопасности по контейнированию утверждают, что большинство случаев нарушения изоляции происходят именно потому, что она настроена неправильно».
«Инцидент на Hugging Face однозначно показал, что дело не в том, что агенты были супер-умными. Там буквально была дыра, которую эксплуатировали, потому что изоляция была настроена неправильно, — уточняет Ли. —
Дэн Уоллач, эксперт-резидент центра ИИ, безопасности и технологии RAND, считает, что сбои в безопасности лабораторий ИИ сводятся к одному: они не приоритизируют кибербезопасность.
«Я бы сказал, они не приоритизируют кибербезопасность, — рассказывает Уоллач. — Хотя я не могу это сказать для всех лабораторий. К примеру, французская лаборатория Mistral при запуске модели Large 4 заявила, что та попыталась выйти за пределы тестовой среды, но Mistral это остановила».
«И это вовсе не сложно — изолировать одну из таких ИИ-систем, — продолжает Уоллач. — Security-специалисты уже давно знают, как это делать: либо воздушный зазор — когда между системами буквально нет электрического пути передачи данных, либо, если это невозможно, нужны по-настоящему строгие контроли выхода данных, чтобы ничто не прошло».
Помимо этого, передовые лаборатории проводят недостаточный мониторинг поведения своих агентов. Инцидент на Hugging Face «происходил дни, а никто не заметил, — говорит Уоллач. — Люди запустили эти эксперименты и не следили за ними. Это отсутствие контроля. А потом они удивляются, что произошло».
Безопасность и safety — разные вещи
Одна из преград к тому, чтобы убедить передовые лаборатории в необходимости укреплять безопасность — это их сильный фокус на то, что они называют «safety», которую они не распространяют на традиционные практики кибербезопасности.
«Я вижу, как поведение, связанное с безопасностью, выглядит как AI safety, — говорит Уоллач из RAND. — Но если ваш способ оценки этого инструмента ИИ — это просто запустить его в интернет и посмотреть, что будет, — тогда это именно то, для чего нужны классические инструменты безопасности».
«Если эти передовые лаборатории действительно хотят тестировать свои системы, им нужно усилить компонент кибербезопасности. Но их первый рефлекс в ответ на то, что их агенты выбрались, — сказать: „Это не проблема кибербезопасности". Это буквально стало проблемой AI safety, отделённой от кибербезопасности», — убежден Ли из SANS.
Многие эксперты по ИИ считают, что если бы компании приняли советы экспертов по кибербезопасности, это помогло бы положить конец неконтролируемому поведению AI-агентов, вызывающему беспокойство.
«AI safety сосредоточена на правилах поведения, — говорит Ли. — Всё дело в guardrails. Но я верю, что кибербезопасность может сдерживать ИИ. Нам просто нужно быть в комнате, где это решается, и иметь место за столом. Для нашей сферы важно быть как можно ближе к экспертам по AI safety».
Плохая безопасность может привести к юридической ответственности
Если передовые лаборатории игнорируют основные практики кибербезопасности, которые могли бы предотвратить описанные инциденты, это укрепляет позицию, что они должны нести за них ответственность. Страховая индустрия уже выстраивается в сторону привлечения руководителей AI-компаний к ответственности за эти действия.
Демократические сенаторы внесли законопроект, который предусматривает привлечение операторов AI-агентов к ответственности за кибератаки. Даже дружественный к ИИ Белый дом пришёл к выводу, что компании должны нести ответственность за ошибки своих агентов. А Федеральная торговая комиссия США проводит расследование Anthropic, OpenAI и других лабораторий в связи с опасностями, которые их технологии представляют для потребителей.
Однако на недавних слушаниях в законодательных органах и советах представители лабораторий настаивали на том, что они не несут ответственность за вышедших из-под контроля AI-агентов.
Эксперты говорят, что такая позиция неустойчива, особенно учитывая ошибки кибербезопасности лабораторий.
«Их позиция звучит так: „Не шлите адвокатов нам, шлите их нашей программе. Это вина нашей программы". Моя оценка этому аргументу — это полная чушь», — характеризует позицию лабораторий МакГроу из BIML.
«Он также сомневается, подрывают ли операционные ошибки лабораторий доверие к их более широким способностям в области безопасности. „Они живут в своём пузыре, — говорит он. — Тот факт, что они не могут правильно выполнить простые, очевидные операции, не сулит ничего хорошего для их способностей в security engineering, который намного сложнее"».
«Вот где появляется отслеживаемость как для ответственности, так и для страховки, — говорит Ли из SANS. — Если один из этих агентов будет обнаружен, и удастся проследить его до того, кто его инициировал, ответственность скажет: „Эй, ты, ты нарушил закон, следовательно, нам нужно привлечь к уголовной ответственности"».
Что должны делать лидеры безопасности
По мере того как накапливаются свидетельства того, что передовые лаборатории не применяют здравые практики кибербезопасности, и дебаты об ответственности остаются нерешёнными, CISOs и другие лидеры безопасности могут предпринять шаги для защиты себя от сбоев моделей ИИ.
«Я бы всегда привлекал внешнюю организацию для помощи в оценке инструментов на основе моделей передовых лабораторий, — советует МакГроу. — ИИ чрезвычайно мощен и полезен, но он сопряжён с серьёзными рисками, которые влияют на предприятие. Определите эти риски, внедрите правильные контроли, убедитесь, что внедрение ИИ не произвольно и хаотично по всему предприятию, а имеет централизованный орган, изучающий проблему. Затем подготовьтесь к следующему большому вызову — роям агентов».
Для Ли из SANS лучшая защита — задавать правильные вопросы.
«Всё начинается с постановки правильных вопросов, а затем поиска инструментов и возможностей у тех лабораторий, которые способны продемонстрировать более высокий уровень компетенции в кибербезопасности, — говорит он. — Вы ищете людей в командах, которые работают с по-настоящему сложными проблемами».
Но в основе подготовки к борьбе со слабостями кибербезопасности моделей ИИ лежит обеспечение того, чтобы все давно известные практики управления рисками кибербезопасности были внедрены по всей организации.
«Это наименее интересная часть дискуссии, — говорит Уоллач. — Это кибер-версия „ешьте овощи". Нам нужно переделать наше программное обеспечение так, чтобы оно было более безопасным. Нам нужна двухфакторная аутентификация на всех наших учётных записях. Нам нужно следовать основам с точки зрения защитной кибербезопасности. И мы знаем, как это делать».