GPT-6 Astra в манипуляции роботизированными конечностями

Astra показывает значительное преимущество на задаче с чашей, работая в два раза дешевле

Это продолжение исследования Claude Fable 5 и Fable 5.1. GPT-6 Astra получила управление теми же двуручными манипуляторами YAM в соответствии с политикой Inspect Robots, на тех же двух задачах:

«Поднять красный кубик со стола и поместить его в чашу.»

«Поднять круглый синий пазл, взяв его за центральную ручку, и вставить в соответствующий круглый паз на доске.»

На задаче с чашей Astra разместила кубик в 19 из 20 попыток против 8 из 20 у Fable 5.1 и 1 из 20 у Fable 5, затратив 2,5 минуты на попытку против 6,8 минут, при расчётной стоимости $0,94 за запуск против $2,12.

Задача с пазлом выглядит иначе: Astra завершила вставку 2 раза из 20, как и Fable 5.1. Обе модели доходят до паза и застревают на одном и том же финальном шаге, при стоимости $1,36 за запуск против $2,18.

Кубик в чашу: лучший завершённый запуск каждой модели (по наивысшему этапу, затем по длительности). Каждый проигрывается со своей скоростью с одинаковым ускорением. Таймеры показывают реальное прошедшее время с исключённые паузы размышления.

Оценка результатов

Каждая попытка была оценена человеческим экспертом по наивысшему достигнутому этапу, поэтому даже неудачный запуск фиксирует прогресс. Рубрика не изменилась по сравнению с отчётом о Fable.

Astra почти всегда размещает кубик; на пазле застревает там же, где и Fable

Результаты

Все запуски

Каждый засчитанный запуск, всего 120.

Технические характеристики

Ограничения

• Испытания Astra были проведены через два дня после испытаний Fable и не чередовались с ними. Сравнение пазлов проводилось на одном и том же rig; сравнение чаши — нет: испытания чаши Fable проводились на rig-3, который был недоступен.
• Оценка была произведена оператором с известной моделью, поэтому оценки подвергаются риску неосознанной предвзятости.
• Стоимость — прейскурантная. Запросы Anthropic были отправлены без кэширования подсказок; OpenAI автоматически кэшировал около пятой части входных данных Astra, что здесь не дисконтируется, поэтому стоимость Astra, если что, переоценена.
• Объекты перемещались вручную между испытаниями, и все модели работали только со средним усилием размышления.