Суть

  • StarSkirmish — бенчмарк, где ИИ пишет ботов для StarCraft: Brood War
  • Каждой модели дано один час на написание бота Protoss на C++, который затем тестируется против ботов других моделей и человеческих ботов
  • StarSkirmish проверяет долгосрочное планирование и агентское кодирование — модели должны учиться из практических игр и улучшать своего бота

StarSkirmish Bench v0.2

Бенчмарк оценивает, какого уровня бота для StarCraft может написать каждая модель за час реального времени. Версия v0.2 обновляет v0.1 флагманскими моделями от OpenAI, Anthropic, Google и Meta, каждая запущена в фирменной CLI-оболочке своей лаборатории.

Оценка модели отражает её процент побед против набора конкурентных ботов, написанных человеком, и демонстрационных ботов.

StarSkirmish Bench v0.2

Запуски за час в фирменной CLI-оболочке. Оценки — средний процент побед (0–100) каждой модели в 5 запусках против набора конкурентных ботов, написанных человеком.

Gemini 4 Argon работает на уровне high — максимальном уровне рассуждения, доступном ей; все остальные модели работают на max.

GPT-6 Astra лидирует в StarSkirmish Bench v0.2, заметно опережая GPT-6.1 Sol на втором месте. Gemini 4 Argon, Claude Opus 5.5 и Claude Fable 5.1 идут вместе третьей группой, набрав от 37 до 39 баллов.

StarSkirmish Bench против стоимости

Оценка StarSkirmish Bench в сопоставлении со средней стоимостью API одного часового запуска. Стоимость — на логарифмической шкале.

Цена Muse Wonder Full основана на тарифах API Muse Wonder.

GPT-6.1 Sol предлагает уникально хорошее соотношение цены и качества: это единственная модель в самом привлекательном квадранте — вторая по результатам, но стоит всего около десятой части от GPT-6 Astra.

Признаков насыщения нет

Сильнейшие ботов, написанные человеком, остаются впереди всех моделей. На противостояниях с Stardust, PurpleWave и BananaBrain лучшая модель, GPT-6 Astra, выигрывает только 7% своих игр.

Процент побед против лучших ботов, написанных человеком

Средний процент побед каждой модели в 5 ботах против топовых ботов человека: Stardust, PurpleWave и BananaBrain.

Час рассуждений — фактор, но эти матчи играются на трёх двухигроковых картах. Реальные условия турниров ботов, написанных человеком, намного сложнее.

Новые ИИ-модели: основные результаты

Новые флагманы Google и Meta заменили Gemini 3.8 Flash и Muse Spark 1.3 из v0.1: Gemini 4 Argon занял 3-е место, Muse Wonder Full — 7-е. GPT-6 Astra и Claude Opus 5.5 уже рассмотрены в v0.1.

Поведение ИИ-моделей

Трассировка агента каждого запуска показывает, как он потратил час. Сильнейший предиктор оценки модели — количество практических игр против 7 самых сильных ботов.

Процент побед против практики против сильных ботов

Оценка StarSkirmish Bench в сопоставлении с количеством практических игр, которые средний запуск модели провел против 7 самых сильных ботов. Пунктирная линия — линейная аппроксимация для 9 моделей.

GPT-6 Astra, GPT-6.1 Sol и Gemini 4 Argon начинают играть с этими ботами в начале часа, когда их собственные боты ещё им проигрывают. Muse Wonder Full, Claude Haiku 5.5 и GPT-6 Luna редко или никогда этого не делают. Claude Fable 5.1 — исключение: набирает 37 баллов, практикуясь почти исключительно против более слабых ботов.

Разброс результатов между запусками

Процент побед каждой модели в 5 запусках. Каждая точка — финальный бот одного запуска; линия охватывает диапазон от самого низкого к самому высокому, отрезок показывает среднее значение (оценка модели в Bench), а полоса — одно стандартное отклонение (σ).

Результаты варьируются между запусками одной модели. Gemini 4 Argon варьируется намного больше, чем флагманы других лабораторий: разница между лучшим и худшим запусками — 18 баллов против 9 для GPT-6 Astra и 8 для Claude Opus 5.5.

Детали реализации

Цель

Каждая модель пишет бота Protoss на C++ против BWAPI 4.4.0, проигрываемого на OpenBW. Игры — Protoss против Protoss на трёх картах лестницы: Heartbreak Ridge, Benzene и Destination. Игра заканчивается, когда все здания одной стороны уничтожены. Игры, доходящие до лимита в 60 минут (86 400 кадров), решаются, как на BASIL лестнице: выигрывает сторона с большей суммой убийств плюс снесённые здания.

Модель начинает со скелетного бота, который только добывает минералы, и получает исходный код трёх демо-ботов и две стандартные библиотеки: FAP (симулятор боя) и BWEM (анализатор карт). Всё, что находится в папке бота по истечении часа, — это финальный бот, поэтому он должен оставаться компилируемым.

Модель имеет инструменты для компиляции бота, проведения практических игр и чтения резюме каждой игры, полного лога и собственного лога её бота. Противники для практики разделены по уровням: D (три демо-бота), C и B (по три среднерейтинговых бота, написанных человеком), A (BananaBrain, Locutus) и S (Stardust, PurpleWave).

Формат турнира

Каждый из 5 финальных ботов модели играет против каждого из 13 ботов в наборе, 10 конкурентных ботов, написанных человеком, и 3 демо-ботов, по 6 раз на каждой карте со свежими семенами. В отличие от v0.1, боты ИИ не играют друг против друга.

Оболочка и рассуждение

StarSkirmish Bench v0.1 запускал каждую модель в одной оболочке на уровне рассуждений «high». v0.2 запускает каждую модель в фирменной CLI-оболочке своей лаборатории на максимальном уровне рассуждений, который она предлагает.

Оболочка

v0.1 использовал одну нейтральную сторонюю оболочку; v0.2 использует фирменную CLI-оболочку каждой лаборатории. Обе версии дают каждой модели один час.

Версии CLI: Claude Code 2.1.296, Codex 0.162.1, Antigravity CLI 1.3.5 и Muse Code 1.4.7.

Уровень рассуждений

v0.1 запускал каждую модель на высоком уровне рассуждений; v0.2 — на максимальном.

Gemini 4 Argon работает на уровне high — максимальном поддерживаемом уровне.

Каждая v0.2 оболочка сжимает контекст модели примерно при 250 тысячах токенов. Когда разговор приближается к этой точке, CLI конденсирует его, и модель продолжает работу. Codex, CLI OpenAI, например, даёт GPT-моделям стандартное окно в 272 тысячи токенов и активирует сжатие при 90% заполнении.

Web-поиск и web-fetch инструменты CLI отключены, и агент не имеет другого доступа в интернет. CLI устанавливается до начала отсчёта, и час считается с момента запуска агента. Нет инструмента отправки: оболочка собирает бота по окончании времени.

Оценка

v0.2 заменяет рейтинги Elo из v0.1 на простые проценты побед. Оценка бота — это его процент побед в турнирных играх, а оценка модели в StarSkirmish Bench — это среднее из оценок её 5 ботов, от 0 (каждая игра проиграна) до 100 (каждая игра выиграна).

Поскольку каждый бот играет против одного и того же фиксированного набора, его игры не зависят от других ботов ИИ в поле. Все запускаются параллельно, и боты новой модели можно оценить без переиграния чужих. Фиксированный набор также сохраняет планку одинаковой во времени, поэтому оценки из разных поколений моделей лучше сопоставимы, чем рейтинги Elo, вычисленные в одном поле.

Корреляции бенчмарков

StarSkirmish больше не отслеживает наиболее широко упоминаемые оценки. Слабо коррелирует с Artificial Analysis Intelligence Index (ρ 0,26), где GPT-6 Astra, топовая модель здесь, только разделяет 4-е место среди этих 9 моделей. Также отошёл от Terminal-Bench 4.0, за которым он внимательно следил в v0.1. Claude Sonnet 5.5 и Muse Wonder Full оба ранжируются близко к вершине Terminal-Bench 4.0, но близко к дну здесь.

Корреляция бенчмарков

Оценка StarSkirmish Bench каждой модели в сопоставлении с её оценками Vals IOI и WeirdML v3, со спирмановым ρ между ними. Пунктирная линия — наилучшее линейное приближение.

WeirdML v3 оценивает 7 из 9 моделей: Gemini 4 Argon и Muse Wonder Full ещё не включены на момент публикации.

StarSkirmish по-прежнему отслеживает Vals IOI — задачи олимпиадного программирования, решаемые на C++, и WeirdML — независимый бенчмарк необычных задач машинного обучения. Одно прочтение: наиболее часто тестируемые оценки стали целями, под которые настраивают модели, а менее целевые тесты долгосрочных, сложных задач кодирования по-прежнему движутся вместе.