Мэтью Грин, криптограф и профессор Университета Джонса Хопкинса, поделился наблюдением после нескольких дней на конференции Usenix Security в Балтиморе. Помимо разговоров о том, что Балтимор не похож на сериал «Прослушка», основной темой обсуждений неизбежно оказывался искусственный интеллект.
У Грина немало опасений насчёт того, что ИИ означает для индустрии в целом. Но один момент беспокоит его особенно — и звучит он парадоксально: ИИ рискует сделать программное обеспечение слишком безопасным.
На первый взгляд в этом нет ничего плохого. Но есть последствие: спецслужбы и правоохранительные органы США близки к тому, чтобы внезапно потерять значительную часть своих технических возможностей — то, что на профессиональном жаргоне называют «going dark» («уходом во тьму»). И это станет проблемой не только для самих агентств, но и для всех, кто ценит безопасность и приватность в целом.
Going Dark и эпоха хакинга со стороны правоохранителей
Чтобы понять, как дошло до такого, стоит вспомнить недавнюю историю — и заодно ещё раз обратиться к «Прослушке»: сериал точно фиксирует состояние электронной слежки образца 2002 года. Полицейские в нём следят за наркоторговцами, которые пользуются таксофонами и одноразовыми телефонами преимущественно для голосовых звонков. Мобильники в кадре по тем временам новые, но с технологической точки зрения ничего в этой картине не удивило бы полицейского, перенесённого туда, скажем, из 1989 года.
Меньше чем через десятилетие после премьеры сериала всё изменилось кардинально.
Перемены начались в конце 2000-х благодаря смартфонам и текстовым сообщениям. Поскольку смартфоны не просто передают, но и хранят данные, они стали новым источником возможностей для правоохранителей. Примерно в 2010 году Apple начала шифровать данные на iPhone с помощью ключа, производного от пароля пользователя (вскоре за ней последовал Android). Годом позже Apple добавила сквозное шифрование в текстовые сообщения iPhone. К 2014 году стартап WhatsApp собрал 600 миллионов пользователей по всему миру. К 2016 году это число выросло почти до миллиарда — и все эти пользователи по умолчанию общались через сквозное шифрование. График ниже показывает, насколько быстро это произошло:
ФБР и другие правоохранительные структуры остро реагировали на происходящее. В 2014 году директор ФБР Джеймс Коми объявил инициативу под названием Going Dark, которая должна была запустить «национальный разговор» о том, что провайдеры могут — или должны быть обязаны — сделать, чтобы новые каналы связи оставались доступными для правоохранителей и контрразведки.
В 2016 году агентство перешло от разговоров к действиям. После теракта, в результате которого у ФБР оказался заблокированный iPhone стрелявшего, ведомство потребовало от Apple предоставить доступ к устройству. Компания отказалась. Патовую ситуацию — и в каком-то смысле саму инициативу Going Dark — разрешило то, чего не ожидали ни ФБР, ни Apple: сторонняя компания заявила, что помощь Apple вообще не требуется — телефон можно было просто взломать.
Дело Apple против ФБР оказалось микрокосмом всей дискуссии. В течение следующего десятилетия правоохранительные и разведывательные органы продолжали требовать бэкдоров под видом «исключительного доступа». Но остроты в этих требованиях уже не было: и агентства, и производители знали, что при необходимости правоохранители могут купить целевые инструменты взлома — вроде GrayKey для разблокировки телефонов, — или даже средства удалённой эксплуатации вроде Pegasus от NSO Group. Apple и Google играли жёстко в защите, закрывая уязвимости сразу после обнаружения. Но этого было недостаточно: коммерческие охотники за уязвимостями стабильно оставались на шаг впереди.
И вот теперь всё это, похоже, становится историей.
Эпоха ИИ-охоты за багами наступила
В апреле — всего четыре месяца назад — Anthropic анонсировала новую модель под названием Mythos, оптимизированную для поиска уязвимостей в софте. Правительство США временно заблокировало её экспорт, ограничив доступ американскими агентствами. Запрет выглядел эффектно и хорошо смотрелся в новостях, но оказался практически бессмысленным. OpenAI, а вслед за ней китайские лаборатории open-weight моделей вроде Z.ai и Moonshot, вскоре продемонстрировали, что монополии на поиск уязвимостей у одной лаборатории быть не может. Список серьёзных уязвимостей, найденных такими моделями, с каждым днём выглядит всё внушительнее — в зависимости от точки зрения, пугающе или впечатляюще.
На первый взгляд это может показаться хорошей новостью для наступательной стороны и хакеров в целом. Но вряд ли всё сложится именно так. Защитники сейчас патчат все баги, какие только могут найти — зачастую копившиеся десятилетиями, — и очередь кажется огромной. Но прогресс есть. Целые CI-цепочки перестраиваются так, чтобы ИИ-сканирование уязвимостей происходило ещё до того, как софт дойдёт до точки, где до него доберётся хакер. Едва ли это означает, что все баги будут найдены (даже подсчитать точное число багов в коде — задача, скорее всего, невычислимая), но в реальном мире похоже, что индустрия скоро упрётся в некий потолок числа полезных для эксплуатации уязвимостей — и произойдёт это довольно скоро.
Таким образом, в течение ближайших двух лет крупные программные продукты рискуют исчерпать запас удалённо эксплуатируемых багов.
Для самого Грина это отличная новость. Но для правоохранителей и наступательной разведки это будет кошмаром. Впервые с 2010 года они могут по-настоящему испытать на себе, что значит «уйти во тьму» — причём сразу для огромного класса современных, хорошо поддерживаемых устройств и программ.
В чём же тут проблема?
Дискуссия об «исключительном доступе» никуда по-настоящему не уходила. Кое-где, например в Великобритании, она даже переросла в нечто худшее. В США она в основном ушла в спячку. Отчасти это можно списать на аргументированное сопротивление экспертов — учёных и инженеров индустрии, указывавших на риск того, что бэкдоры могут быть использованы теми же противниками, от которых агентства якобы должны защищать граждан (как в истории с Salt Typhoon). Но, скорее всего, дело было не столько в принципиальной паузе, сколько в том, что рынок просто оценивал стоимость предложения — уязвимости и так были доступны и без бэкдоров.
Исчезновение «низко висящих» уязвимостей резко обострит потребность правоохранителей и разведки в альтернативных инструментах доступа. Спрос на намеренно встроенные бэкдоры возобновится всерьёз. В результате на индустрию будет оказано огромное давление — перестроить архитектуру систем так, чтобы они допускали «исключительный доступ». В некоторых случаях правительства будут запрашивать эти возможности, рассчитывая использовать их для слежки за другими государствами — стратегия, которая в доИИ-эпоху могла оставаться незамеченной, но теперь, вероятно, будет менее продуктивной. Последствия непредсказуемы: один из вероятных сценариев — правительства других стран полностью откажутся от зависимости от американского софта.
Самое неприятное в этой динамике — новые потенциальные бэкдоры, скорее всего, затронут именно те страны, которые их потребуют. То есть по сути они будут работать в первую очередь на ослабление собственных систем США. Это, в свою очередь, откроет иностранным противникам новые пути атаки на американские коммуникации. Такой сознательный саботаж случится ровно в тот момент, когда индустрия наконец начинает по-настоящему справляться с защитой собственной инфраструктуры.
Что с этим делать?
Честного ответа нет. Это не призыв к действию для экспертов, готовых сплотиться вокруг какого-то продуманного плана. Как и во многих других вопросах, связанных с революцией ИИ, происходящее скорее ощущается как медленное скольжение к месту, которое будет выглядеть совсем иначе, чем сегодняшний мир. Осознание этого само по себе не даёт готового рецепта, как этого избежать. Остаётся надеяться, что на этот раз правильные решения будут приняты просто потому, что они правильные — и ни по какой другой причине.