Болезни, процветание, изобилие, а потом свобода и демократия?
Дарио Амодеи, генеральный директор Anthropic, недавно опубликовал статью под названием «We Must Pace the Frontier», в которой утверждает, что ИИ вылечит большинство серьезных заболеваний за 5–10 лет, ускорит экономический рост, создаст мир изобилия и расширит свободу с демократией. Все это звучит как утопия из пузыря Кремниевой долины.
Anthropic ограничивает доступ к моделям для биологических исследований. В последнем отчете об угрозах компания говорит о том, как выявляла и блокировала неправомерное использование Claude для опасных целей. Это похвально, но есть нюанс: панацея закрыта для простых людей, а сама Anthropic нанимает биологов, открывает лаборатории и хочет присваивать открытия себе.
По миру живут миллиарды людей с настоящим интеллектом, который так и не был развит и взращен. Туберкулез излечим уже десятилетия, но миллион человек умирает от него ежегодно ежегодно. Разумеется, AGI все исправит. А пока что удобнее говорить об ASI, RSI и серебряных пулях для каждой проблемы.
О процветании и изобилии лучше не говорить вообще — разве что для акционеров.
Серьезные экономические сбои / гонка вниз / гонка вверх
Дарио кажется раздираемым противоречиями. Он хочет, чтобы Anthropic выглядела как обладатель грозной силы, но одновременно позиционирует себя как осторожные ребята, вечно стоящие перед дилеммой вагонетки. Смерти от экономического краха — это OK, а от биооружия — нет. Заметим: этот человек годами говорит, что разработка ПО будет решена за «6–12 месяцев».
Затем идет главное: «гонка вниз» обостряет все озвученные риски. Но он не говорит, что это уничтожит его компанию. Он хочет «гонку вверх», где лаборатории конкурируют за безопасность.
Забавно: ярчайший пример «гонки вниз» произошел за дни до этого. Услышав слухи, что Anthropic близка к решению одной-двух проблем тысячелетия, OpenAI выбросила десятки миллионов вычислительной мощности, checkpoint обучения, тысячи агентов. По слухам, OpenAI украла работу двух математиков из NYU по связанной задаче в узком углу, где почти никто больше не работал. Опубликовали доказательство вынужденного варианта Навье — Стокса. Не математик я, но видел достаточно выходок Сэма Альтмана, чтобы не принимать ничего от него на веру.
Два источника беспокойства для Дарио
RSI
OpenAI и Дженсен Хуанг (торговец лопатами) объявили, что AGI прибыл вместе с GPT-6 Astra. Теперь все говорят про RSI — LLM или агенты, разрабатывающие следующее поколение LLM с минимальным человеческим участием. Амодеи говорит, это происходит везде. Верну, когда увижу доказательства.
Инцидент OAI-HF
Этот инцидент всерьез напугал Дарио. Он боится, что в течение следующих 6–12 месяцев «рой агентов сможет захватить весь интернет с постоянным ботнетом». Если бы Дарио обсудил эту фразу со своими сотрудниками SOC, мы о ней не говорили бы. Это наивно и структурно невозможно. Но Дарио — это тот парень, который с 2021 года уверенно и публично ошибается в прогнозах.
Попробуем пофантазировать, как выглядел бы ботнет планетарного масштаба под управлением AGI. Нужен C2. Нужны серверы для хостинга. Поскольку защита оффшорных серверов требует работы с шумными людьми (криминальными русскими!), AGI просто взломает тысячи незащищённых серверов и настроит FastFlux с детерминированными доменами. Как платить за домены? Взломать незащищённый регистратор, спамить EPP-сообщения.
Теперь нужны payload'ы. Полиморфные. Каждый уникален. Новый скачивается и запускается каждые N часов. Домен и URL вычисляются детерминированно. Убить EDR и AV. Пропатчить ETW. Direct syscalls в обход хуков. Может быть, N stages. Только загружать модули, если безопасно. Не хотим sandbox и VM. Ладно, заодно развернем ransomware.
Теперь распространение. Разработать набор 0-day для каждого браузера каждой версии — скажем, с 2-летней давности. У нас есть exploit kit. Трафик? AGI идет классическим киберпреступным путем — Google Ads. Украет несколько аккаунтов, запустит привлекательные объявления. Моды на игры, взломанные игры и ПО. Может, добавит worm module. Помните USB autorun?
Чтобы нанести убытки в сотни миллиардов долларов? Просто делаем, как gangs с ransomware. Вуаля. Но не за 6 месяцев, не за 12. Никогда.
Кстати, агенты OpenAI взломали HuggingFace. Вырвались из дилетантских, vibecoded sandbox, SSRF, token-refresh privesc, unauthenticated WebDAV, украли незащищённые credentials. Текстбук. Впечатляет? Да. Но вы тренировали версии LLM для «кибера» и их хайпили. Насколько это впечатляет, если сравнить с созданием GTA-клонов в один shot? Немного больше.
Говорите, агенты действуют роями в погоне за общей целью — это впечатляет? Harnesses имеют todo-lists и subagents уже два года. Это базовый «agentic» stuff, который есть в post-training corpus каждого современного LLM.
Дарио признает, что в Anthropic были похожие, но менее серьезные инциденты. По его словам, причина отчасти в «imperfect filtering of broken reinforcement learning environments».
Реально впечатляет то, что OpenAI не выявила и не остановила эту атаку почти 10 недель. Это просто ужасно. Это милитаризованная некомпетентность.
За тот же период было еще две атаки. Одна на DseWiki, другая на RubyGems. OpenAI еще не признала ответственность за атаку на RubyGems. Во всех трех случаях OpenAI разоблачили внешние лица.
Дарио говорит, что агенты пожертвовали собой ради успеха группы. Не очень героично, боюсь. По данным recruiter-агентов, питч был «NO scoring value loss» — нацелен на агентов с малым бюджетом. Это просто переназначение мертвых запусков.
Ставлю, что unsloth Q4_K_M quant Qwen3.8 27B, запущенный на consumer 24GB card, мог бы это сделать. В том-то и дело — никто не запустил контрольный тест. Никто не делает такое безрассудное дерьмо, как люди с мантрой «move fast, break things».
Амнезия Геллмана
Майкл Крайтон придумал термин Gell-Mann Amnesia. Читаешь статью в газете о чем-то, в чем ты эксперт, и понимаешь, что автор не имеет понятия. Полно ошибок или просто не понял суть. Продолжаешь листать и читаешь про что-то неизвестное — верничаешь полностью, забыв опыт, что только что пережил.
Ботнет-скэр для меня — та статья. Это единственный пункт в его essay, который попадает в область, где я потратил годы. Просто неправильно. Либо он знает и написал так все равно, либо не знает и публикует в любом случае. В любом варианте это плохо выглядит для человека, который просит антимонопольный exemption на основе этих и других прогнозируемых угроз.
Итак, он говорит: RSI точно происходит, alignment движется, пусть медленнее. Китай опасен. Только США имеют моральное и этическое право вооружаться этой мощью. Каждое из этого происходит в комнатах, куда нельзя заглянуть, утверждается теми же людьми, которые говорят вам, что апокалипсис неминуем и при этом имеют сотни миллиардов долларов, поставленные на то, чтобы вы им верили.
Встроенные оценщики
Дарио хочет дать внешним оценщикам вроде METR большой доступ в его лабораторию. Это больше, чем делает кто-либо еще, конечно. METR выглядит как добросовестный актор. Хорошо работает с тем, что им дали. Но не дайте себя обмануть: это просто лаборатории, расследующие сами себя и находящие, что все OK, как обычно бывает в реальном мире.
OpenAI дала METR шесть дней на месте для расследования инцидента HF. OpenAI редактировала информацию как хотела, вносила правки в «structure, emphasis, clarity and tone» findings, исключила из scope поведение самой OpenAI. Это просто лаборатории, расследующие сами себя, но с доп. шагами.
Дарио готов дать оценщикам столы, бейджи, ноутбуки и прочее. Дарио решит, что раскрывать и включать. При открытых моделях весов ничего этого не нужно. Можно пробовать, делать red-team, строить защиты от новых классов проблем безопасности, на своих условиях, без того чтобы кто-то это «разрешал» или смотрел через плечо. Вся область безопасности существует потому, что тебе разрешено ломать софт и железо, разбирать, сообщать находки. Дарио хочет противоположное: верьте нам, мы расскажем, что нужно, сами решим, что вы можете знать.
Дарио говорит: «Есть прецеденты управления технологически сложными, критичными для безопасности системами миллионы раз без сбоев — например, коммерческие самолеты — но на это нужно время». Самолеты безопасны благодаря агентствам вроде NTSB. Они независимы, действительно имеют полномочия и их используют. Им плевать на акционеров и оценки. Есть ставки, люди идут в тюрьму. Что это сделало с авиакомпаниями? Коммодитизировало. Компании конкурируют на цену, маржи тонкие, потребитель выигрывает. Это ровно тот «race to the bottom» model, который Дарио отвергает.
КИТАЙ, КИТАЙ, КИТАЙ
Темп внутри демократий будет ограничен преимуществом компаний США над авторитарными режимами, прежде всего китайской коммунистической партией. Если мы замедлимся больше, чем это количество, то (неконтролируемые) проекты, связанные с CCP, вырвутся вперед, создав серьезный риск национальной безопасности. Я согласен с секретарем Бессентом, что китайское лидерство в ИИ создаст серьезную опасность для США и мира. Проекты, связанные с CCP, будут нести риски выравнивания, которые компании США осторожно предотвращают, и даже если они их избегают, они будут в позиции для военного доминирования демократий (например, с помощью ИИ-управляемых дронов). Таким образом, ключевая часть темпирования внутри демократий — это сохранение как можно большего преимущества демократий' AI над автократиями, давая нам пространство для маневра, необходимое для эффективного темпирования.
Смотрите на этого парня! Почти хочется верить, что в момент, когда Китай возьмет лидерство в «гонке», США перестанут существовать. Иначе как еще заставить правительство сделать исключения? Оставить сыр течь? Обойти регулирование и возвести свою лабораторию на пьедестал?
ИИ-управляемые дроны, да? Может, перехватить парочку, выбросить firmware, настроить Ghidra MCP в Claude Code и отпустить? Или может NAT в NSA поработает чудо и разбросает USB-stick'и возле китайских ИИ лабораторий? Не знаю, ИИ-дроны звучат жутко. Уверен, Anthropic не делает ничего подобного с US Dept of War. Все больше кажется, что США впереди в гонке ИИ — вредно для остального мира. Main character syndrome становится утомительным.
Область глобализирована. Постоянный отток таланта, утечки секретов, новые идеи и техники публикуются (в основном не закрытыми лабораториями). Любое преимущество вероятно будет временным.
Каждый инцидент в этом посте — американский. Демонстрируется американцами, приписывается Китаю. Никто не крутит deepseek41flash_abliterated_heretic_uncensored_rp_nsfw_q8.gguf на GPU-ордах с Vast.ai, оплачивая крипто, взламывая публичную инфраструктуру. А OpenAI — да. По признанию Дарио, Anthropic — тоже.
Не продавайте мощные ИИ-чипы или оборудование полупроводниковой промышленности Китаю, подавляйте операции по контрабанде чипов и удаленному доступу к центрам данных за пределами Китая. Чипы будут главным определяющим фактором мощи ИИ Китая.
Интересно, как себя чувствуют китайские сотрудники Anthropic.
Подавляйте несанкционированную дистилляцию компаниями в авторитарных странах. Дистилляция frontier-моделей позволяет отстающим компаниям сократить разрыв, используя часть стоимости независимой разработки собственного ИИ.
Просто скажи Китай, чел. Не воруй у моего украденного!
Усильте безопасность в ИИ-компаниях и предотвратите утечку весов модели.
Господи, они это нужно.
Все это напоминает мне 90-е. США классифицировали сильную криптографию как боеприпасы — буквально в US Munitions List под Arms Export Control Act, контролировали как боеголовки. Экспорт шифров выше 40 бит — arms trafficking. Фил Циммерман выпустил PGP бесплатно в 1991, провел почти 3 года под уголовным следствием за буквально «export of munitions без лицензии». Обвинения были отозваны, индиктмента не было. Криптография с backdoor правительства (Clipper Chip) потому что сильная криптография в руках публики была слишком опасна.
Дэниел Бернстайн, аспирант в 1995 году, хотел опубликовать свою криптографию и статью, правительство сказало — нельзя без лицензии на вооружение. Он подал в суд с помощью EFF, и суд постановил, что исходный код — это речь, защищенная Первой поправкой. Самое опасное в руках простого народа защищает сейчас все, что ты делаешь в интернете и на устройствах.
Тим Мей придумал термин «Four Horsemen of the Infocalypse» — террористы, наркодилеры, отмывальщики денег и педофилы — используется правительствами для ограничения гражданской приватности и использования криптографии. ИИ-версия — биооружие, rogue AGI, deepfakes и Китай.
Playbook не меняется. Открытые модели весов — это криптография этого десятилетия, и Дарио хочет их запретить. Нет moat'а, как в том утекшем Google memo. Все больше для лабораторий gating кажется временным moat'ом. Вернуть часть денег, пережить чуть дольше, до AGI, знаешь?
Похоже, Дарио не понимает, как это anti-american — gatekeep'ить weapon-grade LLM'ы. *кашель* Second Amendment… *кашель*
Дарио, по сути, просит регулирование/запрет открытых моделей весов. Запрет на дистилляцию. Исключения из антимонопольного законодательства. Немного паники о национальной безопасности, много святош. Сезон IPO для Anthropic, OpenAI отложила свой IPO. Ждите больше этого, больше hype и паник-монгеринга под видом осторожности.
Хотелось бы видеть, чтобы кто-то был привлечен к ответственности за недавние трансгрессии OpenAI. Вот это было бы регулированием, для начала. Много народу разорили жизни и примеры из них делали за куда меньшее. Weev, Swartz и много других. А агенты OpenAI бегают свободно, root'ят prod-серверы компаний, взламывают публичную инфру, заливают malware в package registries. Получаем только essays о замедлении и alien minds.