О исследовании

Каркас (harness) — это система, которая определяет, как модель переводит свои возможности в практическую производительность при выполнении задач инженерии ПО. Но если раньше каркасы оценивались как единое целое, то здесь впервые проведено систематическое изучение влияния отдельных компонентов.

Исследовательская группа создала облегчённый каркас с фиксированным циклом выполнения и варьируемыми компонентами: планирование, пространство действий и управление контекстом. Были протестированы четыре модели на двух бенчмарках (SWE-Bench Verified и Terminal-Bench 2.1) при 176 различных конфигурациях.

Ключевые находки

Управление контекстом

По мере сокращения окна контекста управление контекстом становится всё более ценным. Основное преимущество — предотвращение сбоев при переполнении контекста. Комбинация правил для исключения нерелевантной информации (rule-based elision) перед применением LLM-сжатия показала наилучший результат по эффективности среди всех протестированных стратегий.

Интересный вывод: возможность восстановления исключённого контента добавляет сложность, которую модели почти не используют, и не приносит улучшения в точности.

Планирование

Роль планирования меняется с типом модели. Для менее мощных моделей оно служит опорой, повышающей точность. Для более продвинутых моделей планирование превращается в инструмент экономии затрат, практически не меняя корректность решений.

Пространство действий

Предопределённый набор инструментов помогает моделям с низкой компетентностью в bash. Однако модели, хорошо владеющие bash, работают эффективнее с интерфейсом, где доступен только bash, достигая значительно более низких затрат, особенно на задачах, сосредоточенных на командной строке.

Анализ траекторий выполнения

Исследователи проанализировали, как эти компоненты влияют на поведение агента на более детальном уровне:

  • Управление контекстом расширяет траектории выполнения, но существенно не меняет поведение агента
  • Планирование влияет на точки остановки траекторий — где агент принимает решение завершить задачу
  • Выбор действий меняет гранулярность кодирования — на каком уровне абстракции агент пишет код

Практическое применение

Результаты исследования создают основу для модульного и осознанного проектирования каркасов. Находки помогают выбирать конфигурацию в зависимости от конкретной модели и доступного бюджета вычислений, а предложенная фреймворк может служить шаблоном для оценки будущих компонентов каркасов.