О чём исследование

Современные LLM-агенты выполняют рассуждение и взаимодействие исключительно через текст, что создаёт неэффективность. Скрытое пространство предлагает более эффективный внутренний канал для мышления, но лишает агентов прямого доступа к инструментам и транспарентности процесса рассуждения.

Исследователи из Together Computer разработали HybridAgents — архитектуру, которая динамически переключается между скрытым рассуждением и текстовым взаимодействием в рамках единого процесса генерации. Это позволяет агентам думать эффективнее, при этом сохраняя возможность использовать инструменты и делая внутренние мысли доступными для анализа.

Как это работает

В основе решения лежат три ключевых компонента:

  • HybridLink — лёгкий модуль, обеспечивающий плавные переходы между текстовым и скрытым режимами
  • Непрерывная рабочая память — сохраняет гибридный контекст без потерь информации на протяжении нескольких ходов
  • Специализированные алгоритмы обучения — HybridSFT и HybridRL

HybridSFT стабилизирует процесс генерации, обучая модель координировать работу с HybridLink при использовании инструментов. HybridRL масштабирует рассуждение, обучаясь выбирать оптимальный режим — скрытое или текстовое — для каждой задачи.

Результаты

Тестирование охватило 11 бенчмарков, включая математику, науку, медицину, поиск и агентское рассуждение. HybridAgents показали:

  • 10.4% улучшение производительности в сравнении с передовыми LLM-агентами и фреймворками
  • 35.5%–54.7% сокращение потребления токенов
  • 1.8x–2.6x ускорение вывода
  • 2.7x–3.7x экономия затрат

Исследование охватило три масштаба моделей, что показало устойчивость подхода к размеру сетей.

Практическое значение

Гибридный подход решает критическую проблему в разработке агентов: баланс между эффективностью (скрытое рассуждение) и функциональностью (текстовое взаимодействие с инструментами). Значительное сокращение использования токенов и затрат делает такие системы более практичными для production-среды.

Код и данные исследования доступны в открытом доступе на GitHub, что позволяет сообществу воспроизводить и развивать результаты.