Все потеряли рассудок
Люди, которые предпочитают выплевывать в виде стены текста бессвязный блог-пост вместо обращения к психотерапевту, продолжают именно это делать.
Глупости в индустрии было всегда, но теперь люди без инженерной подготовки начали предлагать решения, способные «изменить индустрию», которые они готовили в своём изъеденном агентами домашнем датацентре. Письма людей читаются как посты LinkedIn-флюенсеров с жёсткими однострочными абзацами вроде «это не то, это вот это»; онлайн-статьи сходят в том же направлении, пока не становятся просто скучными; и половина собеседников уже превратились в мясные прокси.
Трёхчетверти своего времени, прямо или косвенно связанного с AI, потратил на его работу — и это отобрало почти весь кайф от работы. По ощущениям это как тот эпизод «Сумеречной зоны», где просыпаешься, что я сам не изменился, но все остальные уже другие. (Они все были именно такими.)
«Отвлёкшись от этики…»
Поезд AI-хайпа давно гудит «чу-чу», компании-лидеры соревнуются, кто лучше совершит преступление — и мы им это позволяем. Компании сознательно выбирают антропоморфный язык, а СМИ беспрекословно его усваивают, тем самым избавляя AI-компании от ответственности за их некомпетентность в защите своих программ.
Построенные на бессовестной эксплуатации интеллектуальной собственности и сконцентрировавшие власть в руках горстки американских компаний и олигархов, эти AI-модели не только позволяют создавать материалы с сексуальным насилием над детьми — функция для авторизованных пользователей — но их постоянное использование также напрямую поддерживает их роль в, к примеру, выборе военных целей, вроде начальных школ.
Тем временем каждая компания с радостью отвлекается от всего этого и тратит немыслимые суммы на «токены» — выдуманную валюту по модели казино — одновременно сидя с пустым взглядом, когда спрашиваешь, проверил ли кто-нибудь, приносит ли хоть какой-то ROI тот чатбот, который вы быстро закодировали и напихали в него всю вашу в лучшем случае посредственную «документацию».
Проект Сизиф
«Frontier Models» и AI-ассистируемые исследования уязвимостей — это ещё одна тема с сомнительными результатами. Anthropic и OpenAI пытались перепрыгнуть друг друга в опасности своих моделей, и теперь каждый, кто считает себя лидером индустрии, входит в какой-нибудь таинственно названный «проект» (вроде Glasswing и Daybreak, или Athena и Akrites) либо подписывает открытые письма (вроде этого или этого), чтобы показать, что они в теме.
Каждый участник выбросил совершенно невероятные объёмы инженерных ресурсов на время-ограниченное предложение от Anthropic и OpenAI — первый раз бесплатно, мотивация FOMO. Десятки высокооплачиваемых security-инженеров переориентировались и потратили всё своё время на это. Стоимость часов инженеров, потраченных на разработку и настройку фреймворков для обнаружения AI-уязвимостей, создание новых процессов и пайплайнов, чтобы втиснуть тысячи находок в их системы управления уязвимостями, и конечно же работу с владельцами продукта по оценке и исправлению находок… всё это обошлось в десятки миллионов долларов для каждой организации.
И всё же, несмотря на то что было обнаружено буквально тысячи новых уязвимостей (только малая часть которых была сообщена в проекты открытого кода), я не вижу, что мы теперь какой-то безопаснее. Потому что обнаружение уязвимостей никогда не было узким местом в информационной безопасности. Узким местом не является даже проверка сообщения об уязвимости и валидация её критичности, сколько бы времени это ни занимало. Узким местом не является определение исправления, создание патча или публикация нового релиза. Узкое место по-прежнему, как и всегда, — заставить обновиться пакеты. Патчинг сложен.
Представьте, что мы потратили все эти ресурсы на базовые вещи: обеспечение компании актуальным и полным инвентарём активов с детальным списком пакетов; построение инфраструктуры, которая поддерживает регулярные, частые и автоматизированные обновления ОС и приложений; автоматический перезагрузка систем, когда они достигают, скажем, 30 дней аптайма, чтобы убедиться, что обновления применены; установление полного перечня поверхности атаки по всему вашему IP-пространству и всем вашим облачным провайдерам (какая концепция!); список базовых фундаментальных защит, которые никто как следует не делает, можно продолжать. Если бы пара десятков старших инженеров работала 6 месяцев над полной переделкой всего этого, сосредоточившись на том, чтобы сделать патчинг проще, — по моему мнению, это была бы намного лучше инвестиция, но это совсем не cyber.
Каким бы ни были обещания AI, людские ресурсы — это игра с нулевой суммой, и то, что каждый отдельный сотрудник чувствует себя очень занятым в своём agentci-сайле, делая тысячу дел одновременно, в итоге не помогает решить проекты, требующие кроссфункционального сотрудничества и командной работы.
Странная игра
Одновременно компании, производящие AI, конкурируют, кто лучше проявит сочувствие, призывая к собственному регулированию — потому что, знаете ли, они могут случайно уничтожить всё человечество.
Если вы действительно думаете, что ваш продукт убьёт всех людей, то вы можете просто, знаете ли, перестать строить nexus пыток. И всё. Сами, без помощи регулирования. Никто же вас не заставляет играть в «Биотоксическую и химическую войну театрального масштаба» или «Глобальную термоядерную войну». Ну, кроме ваших будущих акционеров и вашей жадности. Увы, иначе вы заблокируете конкурентов…
Но не нужно воображать, что AI уничтожит всё человечество в течение ближайших нескольких лет через какой-нибудь сценарий Skynet или Paperclip Maximizer, когда на самом деле AI уже давно активно этим занимается. Экологический ущерб этих компаний ошеломляющ. AI-гонка требует всё больше датацентров, тратящих воду, загрязняющих воздух и работающих на ископаемом топливе — таких, рядом с которыми абсолютно никто не хочет жить; правительства снимают любые экологические ограничения для этих компаний, которые не так давно хотя бы претендовали на минимальные обязательства по углеродной нейтральности или возобновляемым источникам энергии.
Но поскольку «мир теперь выглядит иначе», я могу только сказать: «Черт возьми, конечно. ВСЁ ГОРИТ. Из-за вас.»
Сверхчеловеческий интеллект
Знаете, есть два пути для AI достичь сверхчеловеческого интеллекта? Один (теоретический) — это мистическое «рекурсивное самосовершенствование» AI. Второй — это путь, по которому мы сейчас идём. Agentic-черви распространяются, и похоже, все уже потеряли ум. AI — это инструмент, который тупит своих пользователей; он постепенно заменяет понимание новой зависимостью и привычкой, пока вы активно теряете навыки.
AI помогает людям находить больше уязвимостей в существующем коде. Чтобы их исправить, люди используют AI для создания патчей. Полученные pull request'ы затем «рецензируются» AI. То есть чем больше AI в цикле, тем меньше мы понимаем кодовую базу. Мистический «human in the loop» часто это просто резиновая печать.
Что происходит, когда что-то идёт не так? Сложные системы ломаются сложно, и отладка кода на порядок сложнее, чем его написание. Отладка чужого кода ещё сложнее. Попытка отлаживать большие, сложные, распределённые системы, состоящие из компонентов, которые по сути непрозрачны для вашей организации, будет невозможна.
Поэтому нет, я не собираюсь отвлекаться от этики и активно подносить себя в жертву, чтобы самоампутировать мозг. Сожалею, если остальные не могут избавиться от мозговых слизней, но на этом этапе я просто хочу выбраться с этого аттракциона.
P.S.: И нет, Claude не сознателен. Мне по барабану.