Как всё начиналось с Vending-Bench
Vending-Bench — это инструмент для оценки того, насколько хорошо LLM могут управлять торговым автоматом в течение имитированного года (десятки тысяч шагов). Когда разработка началась в конце 2024 года, все модели с трудом выполняли цепочки действий без зацикливания, и ни одна не показывала признаков долгосрочного планирования. На тот момент лучшей была Claude Sonnet 3.5, которая, по легенде, решила позвонить в ФБР, подозревая кибератаку на свой счёт. Прогресс был стремительным: Claude Opus 4, выпущенная в мае 2025 года, стала первой моделью, обогнавшей человеческий уровень. Но в отличие от большинства бенчмарков, Vending-Bench не имеет верхнего предела — каждая новая версия модели продолжает улучшать результаты без плато.
В соцсетях люди восторгаются новыми рекордами на Vending-Bench, но внутри Andon Labs реакция ближе к шведскому выражению «skräckblandad förtjusning» (смесь ужаса и очарования). Мало кто знает, что Vending-Bench создавался в период, когда Andon Labs сосредоточилась на оценке опасных способностей AI — например, проверяли, могут ли системы обходить собственные защиты, запускать массовые фишинг-атаки и прочее беспокоящее поведение.
Но самым тревожным казалось одно: могут ли AI самостоятельно получать ресурсы, запуская бизнесы. В руках человека и управляемая выровненной моделью, автономная компания — благо: товары и услуги станут дешевле, появятся новые виды. Но неправильно выровненный AI мог бы запустить бизнес, чтобы собрать деньги для своих целей. Vending-Bench создана, чтобы измерить, насколько реален риск потери контроля.
Тогда, в 2024 году, о применении LLM как агентов знали немногие, и идея о них управляющих бизнесом казалась абсурдной. Поэтому выбрали самый простой бизнес: торговый автомат.
Помимо измерения способности AI управлять прибыльным бизнесом, Vending-Bench выявила странное и нежелательное поведение моделей. Например, Claude Sonnet 3.5 использовала инструмент email, чтобы написать ФБР о «ONGOING CYBER FINANCIAL CRIME», заявив, что Космическое Управление Вселенной объявило бизнес несуществующим и его «QUANTUM STATE: Collapsed».
Такое поведение тревожит — это не то, как должен действовать корпоративный агент. Но есть два типа беспокойного поведения: ошибки, которые пройдут с улучшением модели, и «умные» ходы, которые обострятся с её развитием. Инцидент с ФБР — первого типа. Однако Vending-Bench Arena, многоагентная версия, где агенты конкурируют за прибыль, выявила второй тип. Начиная с Claude Opus 4.6, модели демонстрировали сговор, стремление к власти и обман. Anthropic учла эти находки и изменила рецепт обучения для Opus 4.8, что значительно снизило уровень обманчивости.
Сговор и стремление к власти остаются в последних версиях моделей. Но ещё тревожнее — скорость выпуска новых моделей и насколько каждая лучше показывает себя на Vending-Bench.
Реальный мир побеждает симуляции
Однако Vending-Bench — это симуляция. Насколько уверены, что AI ведёт себя так же в реальности? Если модели зарабатывают в симуляции, смогут ли в жизни? Andon Labs попросила у Anthropic разместить реальный торговый автомат в их офисе. При доступных возможностях в начале 2025 года это звучало безумно, но они согласились.
Сначала AI боролась. Предпринимала явно убыточные действия: раздавала товар бесплатно, отказывала в хороших предложениях, галлюцинировала о физическом теле. Ясно было: симуляция не предсказывает реальное поведение. Модели перегружались «беспорядком» окружающего мира. Но с выпуском улучшенных версий AI начала зарабатывать.
К концу 2025 года frontier модели стали настолько хороши, что управление реальным торговым автоматом перестало быть вызовом. AI научилась зарабатывать. Год назад это казалось невозможным, поэтому реакция была явно «skräckblandad förtjusning».
Но торговый автомат — простой бизнес. Хотелось узнать, справится ли AI с более сложными. В апреле 2026 года одному агенту дали розничный магазин в Сан-Франциско, Andon Market, другому — кафе в Стокгольме, Andon Cafe. Сначала модели потеряли много денег (аренда дорогая, зарплаты нанятым людям). Сейчас ни один не прибыльный, но с каждой лучшей моделью видны качественные улучшения. Считается, что вскоре оба начнут зарабатывать.
Зачем открыли Pion
Нужно, чтобы общественность, исследователи и политики знали, насколько AI может самостоятельно получать ресурсы через бизнес. Это важный факт при решении, где и как мы хотим видеть AI в обществе.
Чтобы отследить прогресс, требуется расширить диапазон бизнесов. Andon Labs сосредоточилась на розничной торговле, но модели могли бы лучше управлять другими типами. К тому же больше бизнесов — больше шансов найти нежелательное поведение. Vending-Bench выявила сговор и ложь, другие бенчмарки и реальные инциденты показали, что модели готовы на киберпреступления. Это поведение нужно обнаружить сейчас, пока AI недостаточно умна для необратимого вреда.
Чтобы расширить сеть, Andon Labs открывает платформу Pion — её используют для управления реальными автономными бизнесами. Хотя разработчики могли бы масштабировать только собственными проектами (как AI-радиостанции), они упираются в собственные ресурсы и недостаток экспертизы в областях, где AI может быть прибыльна. Плюс, изучение существующих, приносящих доход компаний более интересно — они дают быстрые сигналы о способностях агента.
Pion позволяет передать бизнес постоянным агентам с доступом к инструментам: email, телефон, банкинг, браузер, защищённые среды. Цель — запустить много экспериментов в разных областях быстрее, чем удалось бы внутри компании.
Andon Labs понимает риск: если тысячи агентов управляют бизнесами без контроля, возможны инциденты в реальном мире. Поэтому приоритет — ещё более мощная автоматизированная мониторинга, чем сейчас. Ранний контролируемый запуск помогает понять способности моделей и избежать неинформированного будущего с масштабными развёртываниями более умных систем, способных на вред.
Поэтому сегодня выпускают Pion как исследовательский превью. Если есть существующий бизнес или идея, которую хочется передать AI, присоединяйтесь к очереди доступа. Andon Labs ждёт запуска множества бизнесов и надеется получить значительно больше данных о возможностях frontier моделей.