О чём этот текст
Дело в том, что движение за безопасность ИИ находится под огромным влиянием людей из одного сообщества — рационалистов вокруг Элизера Йудковского. Это сообщество пытается скрыть свои истоки, потому что оно действительно начиналось как секта, создатель которой известен фанфиком по Гарри Поттеру.
Йудковский — это человек, который познакомил Шейна Легга и Демиса Хасабиса с Питером Тилем, чтобы те смогли получить финансирование для создания DeepMind. Сейчас это исследовательское подразделение Google. Его влияние охватывает всю экосистему ИИ.
Кто такой Йудковский
Рун — старший сотрудник OpenAI и неофициальный спикер компании — считает, что Йудковский либо возглавляет, либо является участником секты. При этом он же утверждает, что мнения Йудковского об ИИ очень важны и их нужно воспринимать всерьёз.
Сэм Альтман тоже высоко оценивает его вклад. Йудковский фигурировал на конференции Future of Life Institute по ИИ в Пуэрто-Рико в январе 2015 года. В декабре того же года Маск основал OpenAI — и Йудковский утверждает, что события на конференции это вызвали, хотя это кажется маловероятным.
Дарио Амодей и терминология безопасности
Дарио Амодей, нынешний генеральный директор Anthropic, был идентифицирован в 2013 году как "член сообщества эффективного альтруизма" в блоге некоммерческой организации Йудковского. Он спорил с ним о "максимайзере скрепок" — одной из ключевых концепций Йудковского.
Документы Anthropic до сих пор цитируют Йудковского. Весь способ, которым мы говорим об ИИ, использует слова, популяризированные его некоммерческой организацией. Концепция "AI Alignment" впервые была систематически использована именно его организацией.
Почти невозможно обсуждать ИИ, не апеллируя либо явно, либо неявно к идеям Йудковского или к среде рационалистов и эффективных альтруистов. Кокс, который недавно ушёл из Anthropic и позиционировал себя как разоблачитель, тоже отсюда.
В журнале Time в 2023 году Йудковский выступал в поддержку идеи рискнуть ядерной войной ради своего любимого предмета исследований.
Человек, который попытался сбросить бомбу на дом Сэма Альтмана, цитировал Йудковского как своё главное вдохновение. Кто ещё неумело бомбил бы дом Альтмана?
Рационализм как движение
Йудковского сторонники называют себя "сообществом рациональности", внешне их зовут "рационалистами", а направление — "рационализмом". Видимо, это звучит менее культоподобно.
Фанфик, который запустил тысячу сект
Фанфик "Гарри Поттер и методы рационализма" — это возможно самый влиятельный современный религиозный текст. Его влияние, похоже, ещё не достигло пика.
Harry Potter and the Methods of Rationality — Wikipedia
Эффективный альтруизм vs рационализм
Согласно официальной риторике, "эффективный альтруизм" — это отдельное явление и не подчиняется Йудковскому. Это в основном неправда. Идеи и люди сильно пересекаются, особенно в Сан-Франциско.
Также говорят, что Anthropic — не компания эффективных альтруистов. Это 100% ложь. На встречу Йудковского с Сэндерсом, помимо них двоих, пришли Джеффри Ладиш (Palisade Research, финансируемый Coefficient) и Дэниэл Кокотайло (автор "AI 2027", финансируемый Survival and Flourishing Fund). Все они — "эффективные альтруисты", а не "рационалисты", но действовали вместе.
Где есть разделение между этими двумя движениями, "рационализм" — это команда Йудковского, а "эффективный альтруизм" — команда Дарио. Они конкурируют за внимание и финансирование в одном и том же пространстве, и способ, которым они это делают, выглядит смешно.
Самая заразная идея
Самая известная идея Йудковского, которая инфицирует больше всего людей, — что ИИ, если его продолжить развивать, неизбежно 1) достигнет сверхинтеллекта ("RSI"), 2) выйдет из-под контроля человека, 3) убьёт всех ("затарит скрепками", "doom").
Все дискуссии об AI Safety и AI Alignment в основном посвящены смягчению этого конкретного сценария на его конкретных условиях. Значительные модификации встречаются относительно редко. В широкой субкультуре именно это неявно означают слова "безопасность" и "выравнивание".
Люди, которые думают, что они эффективные альтруисты, а не рационалисты, но глубоко озабочены "AI Safety", как правило, неявно или явно озабочены базовой схемой Йудковского о потере контроля и гибели человечества.
Эта идея кажется самой заразной, потому что активирует ту же невротичность, которую активирует каждый апокалиптический или миллениаристский культ. Мир вот-вот закончится, и только я и моя особенная группа людей, посвящённых в тайну, может его спасти. (Кстати, вы не дадите мне денег и не займётесь сексом со мной?)
С ними можно спорить сколько угодно, но это почти не помогает. Люди верят в это не по рациональным или эмпирическим причинам, и они просто вернутся к жалобам на апокалипсис, как только вы отвернётесь.
Коммуны в Беркли
Лично эти люди собираются в основном в различных коммунах в Беркли, Калифорния. Они называют свои коммуны "групповыми домами", видимо, чтобы звучать менее культоподобно. Большинство подробностей выглядят как ожидалось для "коммуны в Беркли".
Все полиаморны, все посещают одни и те же события, все живут в групповых домах вместе, все почитают одних и тех же авторов, и все очень озабочены гибелью от ИИ. Все очень контрастны вместе.
Множество людей работают в компаниях ИИ и некоммерческих организациях. Команды безопасности, red teaming и выравнивания, похоже, особенно поражены, потому что это область, куда люди идут, чтобы озабочиться и попытаться противостоять гибели от ИИ, которую они считают как минимум средневероятной.
Lighthaven
Жемчужина всего этого — Lighthaven. Это бывший Rose Garden Inn в Беркли, купленный одной из рационалистических благотворительных организаций в конце 2022 года на деньги SBF, которые были украдены из FTX прямо перед её крахом.
Есть, вероятно, только пять человек, которые физически могли бы провести перевод денег рационалистской благотворительной организации из FTX, когда она разваливалась. Один из них — Леопольд Ашенбреннер. Леопольд женился на одной из них, и она сейчас главный помощник генерального директора в Anthropic.
Леопольд якобы эффективный альтруист, а не рационалист, но видно, как это становится очень сложно держать в прямом виде. В каком году вы были одним, а не другим? Была ли ваша организация в то время финансово связана напрямую с Йудковским или нет?
Lighthaven принимает у себя местную читательскую группу Astral Codex Ten со Скоттом Александером, читательскую группу "The Sequences" (по сути, рационалистский Ветхий Завет), конференцию для людей из ИИ под названием "The Curve", конференцию EA под названием EAGxBerkeley, MATS (Machine Alignment, Transparency, and Security или ML Alignment & Theory Scholars) и SlutCon, организованную Aella.
Гретта и зарплата в 200 тысяч
Гретта — основной партнёр Элизера Йудковского. Она получает около 200 тысяч долларов в год в качестве его помощника в его некоммерческой организации, при этом организуя это событие в LightHaven. Никаких предыдущих квалификаций для какой-либо работы в его некоммерческой организации у неё нет.
Хочется верить, что никакой нелегальной секс-работы не происходило на SlutCon, и присутствие партнёра Элизера как организатора просто весело и оригинально. Также не известно, произошли ли когда-либо организованные Греттой платные групповые сексуальные сцены в Lighthaven.
Отмечу, что Lighthaven, похоже, отчаянно нуждается в деньгах.
Aella и её проекты
Менеджер помещений Lighthaven — Ронни Эрнандес. Он также подрабатывает менеджером Aella, и непонятно, означает ли это просто "парень, который занимается её забавными проектами анализа данных" или также "сутенёр", но, вероятно, также "сутенёр".
Aella создала диаграмму Санки. У неё есть фетиш на тему изнасилования. Один из ребят на диаграмме, вероятно, Элизер Йудковский. Aella очень агрессивно рекламирует и вербует людей в её образ жизни и события в Twitter.
New York Post опередила меня в истории про Нейта Соареса
Реакции людей из EA/рационалистского сообщества на эту историю... Ну, это были реакции.
О критике "sex negativity"
Чтобы никто не начал жаловаться на то, что это "sex negative":
- Они в основном работают вместе в некоммерческой организации, занимающейся страхом перед концом света, при этом занимаясь этим, и
- Они вербуют молодых идеалистов в это через буквальный фанфик по Гарри Поттеру.
Рационализм в целом — это религиозное движение. Не все подчиняются приказам. Ядро людей, которые в основном живут вместе, посещают события и особенно оргии в Беркли — это секта, а те, которые не занимаются сексом — часть более широкого движения и его воронка вербовки.
Когда вы соберёте более нескольких человек, глубоко озабоченных гибелью от ИИ, их естественная форма организации выглядит как культ; рационализм в целом — это не столько культ, сколько фабрика по производству культов. Некоторые из этих культов прошли очень плохо. Один из них — зизиане.
Why Are There So Many Rationalist Cults?
Вопрос рациональности
Где-то какой-то рационально мыслящий человек читает это и говорит, что я "низкий декуплер", и что то, ведут ли они секту, не имеет отношения к тому, правы ли они.
Это достаточно верно; но секта — это разумное свидетельство того, что их влияние преобладает не потому, что они правы, и что у них были бы скрытые мотивы для продолжения проповеди о конце света, даже если бы доказательства показывали иное.
Если у вас есть секта и красивый комплекс, подаренный вам бесплатно с украденными деньгами, потому что вы проповедовали евангелие гибели действительно хорошо, как вы можете перестать это проповедовать?
Если разработка видений апокалипсиса окупается — а она окупается — вы получите всё больше и больше таких видений.
WAIVE ANTI-TRUST
Всё это недавно собралось вместе в конце выходных, и они добились того, что Дарио Амодей, Сэм Альтман, Илон Маск и Демис Хасабис встали на одну страницу, чтобы сказать, что хотят ОТМЕНИТЬ АНТИМОНОПОЛЬНЫЕ ЗАКОНЫ, чтобы они могли "темповать", или замедлять, исследования.
Я отношусь к этому примерно так же, как я бы отнёсся к тому, если бы все фармацевтические компании собрались и сказали, что хотят отменить антимонопольные законы, чтобы сформировать картель для запрета медицинских исследований:
эти люди — враги человечества.
Также: большая часть исследований ИИ — это медицинские исследования. Они буквально предлагают остановить довольно большой кусок медицинских исследований, чтобы не бояться скреповщика.
Есть много регулирований, в поддержку которых я был бы, но они всегда только хотят сформировать картель или мировое правительство против скреповщика. Никакая другая индустрия никогда не формулировала никакое регулирование в терминах "остановить", "пауза" или "замедлить". Это безумные способы рассмотрения любого вида политики. Политика должна предотвращать плохие результаты и поощрять хорошие, это никогда не про конкретную скорость.
Эта индустрия формулирует свои регулирования таким образом, потому что в её ядре находится миллениаристский культ смерти, который поклоняется и боится ИИ как причины конца света, который чувствует себя обязанным создавать ИИ и который, по крайней мере отчасти, хочет уничтожить ИИ как поле.
Политика по ИИ рассматривается только в этих терминах из-за огромного интеллектуального влияния самого Йудковского и, как следствие, из-за нейротического или религиозного одержимости гибелью от ИИ как основного способа, которым люди взаимодействуют с этими концепциями.