Генерация промежуточных токенов (intermediate token generation, ITG) — техника, при которой модель выдаёт некоторый текст до формирования итогового ответа, — стала стандартным способом повышения качества языковых моделей на задачах, требующих рассуждений. Эти промежуточные токены принято называть «цепочками рассуждений» (reasoning traces) или даже «следами мышления» (thinking traces).
Авторы позиционной статьи, среди которых Суббарао Камбхампати, Картик Валмиким, Сиддхант Бхамбри и ещё шесть исследователей, обращают внимание: подобная терминология неявно очеловечивает работу модели. Она подразумевает, что промежуточные токены похожи на шаги, которые предпринял бы человек при решении сложной задачи, и что через них конечный пользователь якобы получает интерпретируемое окно в процесс «мышления» модели.
Основной тезис работы — эта антропоморфизация не является безобидной метафорой. Авторы приводят аргументы в пользу того, что она путает понимание природы языковых моделей и способов их эффективного использования, а также ведёт к сомнительным исследовательским практикам, построенным на ложной предпосылке о том, что промежуточные токены отражают реальный внутренний процесс принятия решений моделью.
Intermediate token generation (ITG), where a model produces output before the solution, has become a standard method to improve the performance of language models on reasoning tasks. These intermediate tokens have been called "reasoning traces" or even "thinking traces" — implicitly anthropomorphizing the traces, and implying that these traces resemble steps a human might take when solving a challenging problem, and as such can provide an interpretable window into the operation of the model's thinking process to the end user. In this position paper, we present evidence that this anthropomorphization isn't a harmless metaphor, and instead is quite dangerous — it confuses the nature of these models and how to use them effectively, and leads to questionable research. We call on the community to avoid such anthropomorphization of intermediate tokens.
Исследователи призывают сообщество отказаться от подобной терминологии применительно к промежуточным токенам, генерируемым языковыми моделями, и подходить к их интерпретации более осторожно, не приписывая механизму генерации текста человекоподобные когнитивные процессы.
Работа принята на конференцию ICML 2026. Как отмечают авторы в комментариях к публикации, текущая версия статьи представляет собой ответвление от первой редакции: сохраняя общий раздел с обзором проблемы, она отличается как фокусом изложения, так и конкретной аргументацией против очеловечивания цепочек рассуждений.