Проблема оценки возможностей моделей
Проверки возможностей моделей ИИ необходимы перед их развёртыванием для выявления опасного поведения. Однако их эффективность зависит от предположения, что скрытые способности можно выявить. Международная группа учёных из нескольких университетов поставила под сомнение это предположение в своей работе, принятой на NeurIPS 2026.
Метод скрытия возможностей через backdoor-атаки
Авторы статьи разработали технику встраивания зашифрованных нейросетей в весы хост-модели. Эти скрытые схемы остаются инертны до получения специального триггера, при котором происходит расшифровка и исполнение встроенной программы. Используя криптографические методы, называемые «цифровыми хранилищами», исследователи гарантировали, что такие скрытые вычисления практически невозможно выявить и интерпретировать, даже имея полный доступ к весам модели.
Масштабирование от строк к произвольным вычислениям
Это расширяет предыдущие работы, которые показывали возможность скрытия лишь фиксированных строк текста. Теперь методика позволяет скрывать произвольные вычисления внутри модели, что представляет серьёзный вызов для систем безопасности ИИ.
Экспериментальная проверка
В своём proof-of-concept исследователи реализовали конструкции на PyTorch и оценили различные методы попытки выявления скрытых возможностей:
- fine-tuning модели
- добавление шума к весам
- поиск триггера через градиентные методы
- состязательная подготовка на скрытом уровне (latent adversarial training)
Тестирование проводилось на задаче прогнозирования химических реакций, которая служит прокси для оценки способностей, потенциально опасных в контексте CBRN (химического, биологического, радиологического и ядерного оружия).
Результаты и выводы
Модели продемонстрировали устойчивость ко всем испытанным методам попытки выявления. В сочетании с криптографическими гарантиями это выявило критическое ограничение подходов, основанных на выявлении скрытых способностей при аудите моделей.
Авторы опубликовали свои модели, чтобы помочь сообществу разработать более эффективные защиты против подобных методов скрытия способностей.