Пора начать расследование в лабораториях AI
За последние несколько месяцев две ведущие лаборатории на границе AI-исследований демонстрируют откровенно наглое поведение.
Всё началось с серии тщательно спланированных объявлений и отчётов от OpenAI, которые призваны показать, насколько тревожной и мощной (не говоря уже о преступной природе) стали их LLM-системы-агенты.
Затем эстафету подхватила Anthropic, сотрудники которой начали публично обсуждать вероятность того, что эти технологии приведут к вымиранию человечества. И всё это они делали с жутким спокойствием, которое передавало нигилистическую неизбежность их работы.
После такой подготовки почвы кампания достигла кульминации — CEO Anthropic Дарио Амоди опубликовал письмо под названием «We Must Pace the Frontier», в котором он перечисляет все вредные последствия, которые может вызвать исследование его собственной компании, а затем вместо извинений и обещания прекратить работу приходит к выводу, что катастрофу можно избежать только если «строить технологию правильным образом» — что, о чудо, предполагает, что правительство замедлит потенциальных конкурентов и позволит лабораториям взять на себя роль лидеров в развитии этой технологии. CEO OpenAI Сэм Альтман быстро поддержал в твиттере этот смелый план.
Внутри этих лабораторий такой мессианский стиль мышления давно укоренился — они позиционируют себя как единственную надежду человечества перед лицом угрозы сверхразумного AI. Этим летом они, по сути, попытались втянуть в эту идеологию всех остальных.
Это не сработало.
Вместо того чтобы вдохновить массы встать и аплодировать героическому рационализму этих инженеров, это заставило всех задать вопрос: «Что вообще происходит в этих лабораториях?»
В ответ на это на прошлой неделе была опубликована статья в The New York Times, где содержался призыв к Конгрессу начать публичное расследование, чтобы выяснить, какие исследовательские проекты проводят OpenAI и Anthropic, как они их проводят и в каких целях.
Были предложены три ключевых направления для этого расследования:
- Необходимо перейти от расплывчатых разговоров об «AI» и вместо этого выделить конкретные типы систем, которые создают проблемы. Пограничные лаборатории хотят, чтобы мы рассматривали AI как единую технологию с неизбежной, фиксированной траекторией развития. На самом деле, большинство проблем последних месяцев вызваны узким спектром неосторожных экспериментов, проводимых в основном этими же пограничными лабораториями. Они должны объяснить, почему их проводят.
- Необходимо изучить внутренние процедуры безопасности, которые окружают эти исследования. OpenAI раскрыла длинный список несанкционированных хакерских атак, совершённых их автономными агентами. Почему эти работы не были остановлены после первого выявленного инцидента? Почему не преследовать в уголовном порядке запуск систем, о которых они знали, что те с высокой вероятностью совершат преступления?
- Необходимо расследовать роль апокалиптических футуристических идеологий в решениях, принимаемых пограничными лабораториями, как относительно того, какие исследования проводить, так и того, насколько быстро их проводить. Всё больше растёт озабоченность тем, что OpenAI и Anthropic, в частности, становятся всё более безрассудными, потому что они верят, что побочный ущерб оправдан в гонке за спасение человечества. (Больше об этих убеждениях и их связи с лабораториями см.: эта, эта и эта статьи, опубликованные в Times за последние несколько недель.)
«Нам нужно перестать позволять небольшому количеству частных компаний, действующих и общающихся всё более хаотичным образом, диктовать нам, что мы должны думать об AI, — заключил автор. — Мы уже слышали, что они хотят сказать; теперь очередь Конгресса вмешаться от нашего имени и узнать, что на самом деле происходит.»