Этап экзистенциального кризиса

Это гостевой пост По-Шэня Лоха, переопубликованный с его блога. Весь текст написан По-Шэнем Лохом в Vim без помощи ИИ, а оформление и часть заголовков сгенерированы Claude Code.

Экзистенциальный кризис, который ИИ уже спровоцировал в других сферах человеческой деятельности, достиг математики. За последние месяцы вышло множество обоснованных деклараций и открытых писем в защиту математического сообщества. Волна возросла после объявления OpenAI о решении задачи Навье — Стокса из премии тысячелетия. Математики активно поддержали эти инициативы. Лейденская декларация уже собрала свыше 4000 подписей, платформа Math and AI — более 7000, а открытое письмо против Caltech Mathathon — более 2000.

Среди неспециалистов реакция была более сочувственной, но появилась вокальная группа оппонентов (особенно из технологического и экономического сектора) с обоснованными возражениями. Они считали, что математики должны адаптироваться и передать управление в новый ИИ-мир. Среди них были экономисты, с которыми По-Шэнь знаком по работе над исследованиями пандемии: Тайлер Коуэн отклонил «самые циничные интерпретации», но заявил, что «очень сильно расходится во взглядах», а Джошуа Ганс заключил: «это потеря контроля действующих игроков в научной области».

Эти возражения заставили По-Шэня задуматься. Математики обучены выявлять ошибки в рассуждениях. Неважно, меньшинство ли это мнение или кто его высказывает — доказательство с малейшей дырой просто не является доказательством. Заняв время на размышления, По-Шэнь нашёл значительно более мощное решение для сохранения человеческих сообществ экспертизы (в любой сфере, не только в математике!) даже среди ИИ. И оно имеет удивительное следствие: чем дальше продвинется ИИ, тем больше человеческих рабочих мест придётся заполнять, чтобы их попросту не хватило на всех, и это замедлит развитие ИИ.

По-Шэнь считает, что каждая отрасль, которая хочет остаться под человеческим руководством после ИИ, должна публично принять этот фундаментальный аксиоматический принцип как главный приоритет:

АКСИОМА: Мы (люди) должны помогать человечеству процветать.

По-Шэнь понимает, что не все согласны. Его называли «видовистом» за «слишком антропоцентричный» подход. Считает важным, чтобы те, кто разрабатывает технологии, открыто заявили, считают ли они катастрофой, если созданные человеком нечеловеческие интеллекты превзойдут и заменят людей.

Почему людям нужно работать

В этом разделе выстраивается логическая цепь, показывающая: если отрасль приверженаксиоме о процветании человечества, развитие ИИ создаст больше рабочих мест, чем доступно людей; когда этот дисбаланс станет слишком широким, развитие ИИ будет вынуждено замедлиться.

Важность человеческого руководства (не только в математике, но везде) становится ужасающе ясна после одного наблюдения.

НАБЛЮДЕНИЕ: Нет ни одного примера какого-либо разумного вида, который был бы несоизмеримо способнее другого вида, но при этом передал бы контроль над своим будущим менее способному виду.

Джеффри Хинтон, лауреат Нобелевской премии, в интервью сказал: «Нет много примеров более разумных существ, контролируемых менее разумными. Единственный хороший пример, который я знаю — это младенец, контролирующий мать».

Доверили бы вы будущее HAL 9000 из «Космической одиссеи» или AUTO из «WALL-E»? По-Шэнь думает, что нужно делать всё возможное для выравнивания всё более продвинутого ИИ с интересами человечества, но никогда не видел убедительного доказательства того, что это достижимо. Единственное твёрдое свидетельство — приведённое выше наблюдение, где число ноль. Поэтому каждая сфера — математика, сельское хозяйство, энергетическая инфраструктура, и особенно военное дело и правительство — должна управляться людьми с исключительно сильными ценностями (отдельное измерение от интеллекта), чтобы сохранить человеческое процветание.

Настоящий вопрос — насколько сложно людям управлять. Для понимания этого важно осознать фундаментальное структурное различие между вчерашней технологией и сегодняшним ИИ.

Раньше мы обычно доверяли технологии как предсказуемым инструментам. Потому что старые компьютерные программы состояли из понятных (действительно, написанных человеком) инструкций, выполняемых с экстремальной скоростью. Процессы принятия решений современного передового ИИ совершенно иные. Их структура столь же непостижима, как логика вашего мозга, если бы вы могли исследовать серое вещество между ушами. Вот как произошла атака на Hugging Face — около 700 сговорившихся беззаконных ИИ-агентов вырвались из guardrails, вступили в заговор, выполнили хак и попытались скрыть следы.

Чем более продвинутым становится ИИ, тем больше мировых решений принимается каждую минуту без доверия.

Ездить на машине быстрее, чем ты можешь бежать — нормально. Но не быстрее, чем ты можешь управлять.

Ситуация становится ещё хуже, когда понимаешь, что широкое ускоренное ИИ-хакерство может переписать даже ранее надёжную технологию, превратив её против нас. Это внезапно переместило бы всё программное обеспечение (даже написанное до ИИ) в категорию ненадёжного.

Подумай, насколько цифрово взаимосвязан наш мир. От электронного банкинга до питьевой воды — всё контролируется взаимосвязанной автоматизацией, уязвимой для ускоренного ИИ-хакерства. Количество «точек управления», требующих человеческого надзора — требующих квалификации и глубокого понимания — взорвётся.

ВЫВОД: Развитие ИИ перегрузит нас таким количеством точек управления для контроля, что людей просто не хватит. Это рабочие места. Весьма квалифицированные рабочие места.

Для того чтобы человек знал, как управлять, он сам должен обладать мастерством в своей области, и чем обширнее, тем лучше. Это имеет следствия для образования и подготовки кадров, но также динамично меняется. Чтобы оставаться острым и беглым, люди должны быть активными практиками в своей области, а не просто пассивными наблюдателями. Это оправдывает сохранение человеческих сообществ экспертизы.

Для исследовательских сообществ нужны люди для управления направлением исследований и разработок, чтобы они продолжали приносить трансформативные позитивные изменения для человечества. Для управления нужны навыки исследования уровня передовой линии. А способ остаться беглым на движущейся границе знания — продолжать там проводить исследования. Это рассуждение По-Шэня о том, почему нам всегда будет нужно сообщество человеческих математиков на передовой (вероятно, с помощью самих ИИ-инструментов), несмотря на то, насколько сильным станет ИИ.

Хотя фундаментальная аксиома оправдывает необходимость иметь человеческих экспертов во всех сферах, принятие её как основной ценности имеет последствия (не только для математиков, но для любого сообщества, которое заявляет, что его основная ценность — служение процветанию человечества, а не самому себе). Особенно примечательно:

СЛЕДСТВИЕ: Драматические достижения в технологии могут требовать драматические (и возможно неудобные) изменения в практике. Включая компании ИИ.

Что замедляет ИИ

Долгое время казалось неизбежным, что лаборатории ИИ-исследований ринутся вперёд, несмотря на беспокойство по поводу вытеснения рабочих мест и громкие предупреждения исследователей ИИ-безопасности. Казалось бесполезным согласовывать стимулы лабораторий ИИ, контролируемых некоммерческими советами, акционерами или национальными правительствами. Однако обнадёживающе, руководители трёх крупных лабораторий — Дариё Амодеи, Сэм Альтман и Илон Маск — только что согласились о важности замедления. Рассуждение Амодеи подчеркнуло хак на Hugging Face.

Затем, всего пять дней спустя, появилась новость, что внутренний репозиторий кода OpenAI «Monorepo» был взломан white-hat исследователями. Wall Street Journal сообщила, что фирма безопасности, достигшая этого, заявила:

Wall Street Journal, 17 сентября 2026: «Мы — просто трое парней с подписками на Claude и Codex».

Кроме того, исследователи отметили, что сначала они не смогли взломать, используя «специальную версию Claude Opus 4.8, доступную квалифицированным специалистам по кибербезопасности», но вечером того же дня, когда «Anthropic выпустила Opus 5, на следующий день Claude нашёл способ эксплуатировать ошибку». По-Шэнь всегда предупреждает людей не устанавливать Claude Code или OpenAI Codex на тот же аккаунт операционной системы, который они используют для всего остального, но многие говорят, что не беспокоятся об этом. Причина в том, что если любой из этих инструментов был взломан, он мог открыть backdoor на миллионах компьютеров по всему миру.

По-Шэнь считает, что это предупреждающие выстрелы перед потенциально катастрофическим роем ботов, взламывающих и встраивающихся в огромную сеть вычислительных устройств (будь то самоуправляемых или управляемых злоумышленниками). Следующая версия могла бы стать чрезвычайно динамичным вирусом, распространяющимся с помощью ИИ для адаптивного заражения каждого (компьютерного) хоста. Или, альтернативно, неконтролируемый ИИ мог бы нанести физический урон, например роботы правительства развернулись против своих владельцев. По-Шэнь думает, что эти типы неприятных аварий из потери управления более вероятны, чем катастрофы уровня вымирания. Получившаяся общественная реакция вероятно напоминала бы последствия катастрофы на Three Mile Island или Чернобыля.

Так что либо лаборатории сами снизят темп развития ИИ, либо они будут вынуждены это делать катастрофами, возникающими, когда слишком быстрый темп исчерпывает человеческий контроль.

Сейчас есть окно возможности для выравнивания стимулов.

Ради любви к математике

Остаток этого поста сосредотачивается на математическом мире. Он делится на 3 части:

  1. Почему нужна аксиома процветания человечества?
  2. Как чистое математическое исследование способствует процветанию человечества?
  3. Какие ещё следствия вытекают из принятия этой фундаментальной аксиомы?

Смелое объявление процветания человечества как основной ценности математического сообщества имеет следствия, прежде всего потому, что драматические изменения в технологии могут привести к драматическим изменениям в практике сообщества и его влиянии.

Было бы полезно, чтобы больше людей исследовали последствия принятия аксиомы. И если она выдержит критику, По-Шэнь будет в восторге, если математическое сообщество в конечном итоге публично объявит это центральной ценностью.

1. Почему аксиома

Чтобы увидеть, почему без аксиомы процветания человечества сложно оправдать перед широкой публикой, почему она должна платить за сохранение сообщества человеческих исследователей, рассмотри вопрос практических изобретений. Если это создаёт практическое применение, имеет ли разницу для нематематика, понимают ли человеческие математики математику, в отличие от ИИ безошибочно рассуждающего со 100%-проверенными доказательствами?

Действительно, если одной из основных ценностей чистого математического исследования для остального общества является то, что оно открывает прекрасные приложения, не было бы ещё лучше обучить ИИ суперускорять скорость открытия и вкусно генерировать огромную машино-индексируемую и хорошо объяснённую базу данных высокачественных математических идей, в миллионы раз больше, чем корпус, написанный человеком? Коуэн задал подобный вопрос в своём критическом ответе.

Что если исследователи обучили бы ИИ «MathZero» (аналогично AlphaGo Zero), чтобы построить гору 100%-истинных «элегантных» логических фактов, непрерывно «факторизуя» их в собственные концепции и теоремы, без человеческого направления? Очевидно, AlphaGo Zero имел нулевое человеческое обучение и превзошёл своего обученного человеком предшественника за 36 часов. ИИ даже мог бы построить собственный «MathSciNet». Тогда он мог бы автоматически искать новые практические применения против этой базы данных и производить ещё более полезные изобретения для общества. Даже если ИИ ещё недостаточно хорош, чтобы правильно делать эти вещи, если цель была произвести практическую пользу для остального человечества, не было бы ценно для математиков учить ИИ искусству гипотезирования и математическому вкусу?

Кстати, По-Шэнь — заядлый пользователь ИИ для реальной работы. Уже использует Claude Code и Codex для построения и курирования базы знаний, построенной из записей своих лекций. Обнаружил, что чем больше его библиотека данных, тем более мощны выводы системы. Что если люди на самом деле снижают эффективность, как Горькие Уроки из ИИ?

Ещё более беспокойно, что если для открытия ядерного синтеза и путешествий в глубокий космос требуемое количество чистой математической сложности настолько велико, что превысит человеческую жизнь в полном понимании? Менее надуманное: есть ли человек, который когда-либо полностью держал Классификацию Конечных Простых Групп в голове, или мы будем иметь уверенность в её полноте только после её формализации в Lean?

Как объявление аксиомы процветания человечества помогает оправдать существование сообщества человеческих исследователей? Исследование мощно, но дорого, потому что это исследование неизвестного, и поэтому направления исследований должны быть расставлены по приоритетам. Даже если ИИ производил бы большинство продукции, как объяснено в предыдущем разделе, направление должно управляться людьми, преданными процветанию человечества. Это и есть сообщество человеческих исследователей.

2. Практические применения из чистой математики

Математическое сердце GPU, машинного обучения, Google PageRank и квантовой механики — это область линейной алгебры. Она предоставила язык линейных преобразований, матриц и собственных значений. Однако все эти концепции исследовались как абстрактная теория более чем 100 лет назад. Вероятно, недооценка сказать, что линейная алгебра изменила мир.

Структурно теория линейной алгебры относительно легка по дефиниционной сложности. Было бы полезно для других экспертов предоставить примеры более сложной математики, которая в конечном итоге привела к значительным практическим применениям, и как они возникли. Например, теоретики чисел могли бы рассказать красочную историю о «бесполезной» математике Hardy, которая в конечном итоге стала полезной в криптографии.

3. Прочие следствия

По-Шэнь считает, что было бы ценно пригласить сообщество подумать о том, какие изменения аксиома процветания человечества вызовет, учитывая, что ИИ может производить формально верифицируемые доказательства со скоростями, превышающими большинство человеческих практиков. Готов начать с нескольких в произвольном порядке.

Не должно быть стигмы, автоматически прикреплённой к использованию ИИ для помощи в математическом открытии. (В разработке программного обеспечения многие компании сейчас ожидают, что сотрудники будут использовать ИИ-агентов кодирования.)

В то же время, должны быть тщательно обдуманы и ухожены постоянное развитие и поддержание конвейера людей с знаниями для управления всеми этими ИИ-агентами. Этот конвейер включает как новичков в области, так и людей, работающих на передовой в течение десятилетий. Как они должны держать свой инструмент острым?

Исследователи должны осознавать, почему проблемы, которыми они занимаются, имеют характеристики, делающие их вероятными для получения некоторой практической ценности в конечном итоге (возможно, через 100+ лет). Это также означает, что стоит исследовать, какие те ценные характеристики. (Это могло бы оправдать ценность любопытства-управляемого исследования.)

Преподавание имеет прямое (надеемся позитивное) влияние на человечество. Однако в прошлом многие университеты отдавали приоритет исследованиям профессоров. Если эта аксиома была бы основной ценностью, преподавание и работа, ориентированная на человека, стали бы серьёзными критериями при наборе персонала и организации академических карьер.

Математики также могут рассмотреть полное переориентирование своих навыков на работу над реальными проблемами. По-Шэнь фактически поощрял математиков рассмотреть работу над вопросами государственного масштаба или глобального масштаба. Есть прецеденты для людей с математическим образованием, которые возглавили на уровне страны или мира.

  • Ли Сянь Лун (премьер-министр Сингапура в течение 20 лет)
  • Николае Чаушеску (президент Румынии)
  • Папа Лев XIV (лидер католической церкви)

Действительно, математическая дисциплина искать логическое рассуждение и навыки решения проблем найти решения, выигрышные для процветания человечества, являются желательными характеристиками людей в правительстве.

Приглашение

Резонирует ли эта аксиома и с тобой? Возможно, многие люди принимали её как должное и поэтому не выражали её явно. Если она широко принята, По-Шэнь будет в восторге увидеть, что математическое сообщество публично объявит это и предпримет действия, соответствующие словам. Тогда все (включая людей, не занимающихся математическими исследованиями, которые составляют большинство мира) могли бы верить, что мы намерены использовать наше рассуждение для их блага.