Скрытые детали о том, как обучались передовые модели, можно узнать, «прощупывая» их специально подобранными запросами.
Оценивая модели на узкоспециализированных фактах, можно оценить примерное число параметров у моделей вроде GPT-5 и Opus — с помощью метода «Incompressible Knowledge Probes».
Измеряя, как модели разбивают текст на токены, можно выявить факты о смеси датасетов, использованных при обучении (или хотя бы токенизатора) — метод «Data Mixture Inference».
Оценивая ответы моделей на вопросы о датах и самоидентификации, можно оценить временные рамки обучения — этому посвящён данный материал.
Всё изложенное далее — оценочные предположения. Некоторые из них могут оказаться неверными, поскольку публично доступных данных для проверки почти нет.
Как обучаются передовые модели
Вкратце (подробнее — в блоге Алекса Ва), процесс обучения крупных языковых моделей сошёлся к трём стадиям:
Берётся огромный массив общих данных (по сути — скрейпинг интернета), на котором «предобучается» массивная модель автодополнения текста.
С помощью специализированных данных «учебникового» качества базовая модель улучшается, расширяются отдельные базовые возможности — например, понимание длинных текстов.
Базовая модель превращается в персону «ассистента»: дорабатываются характер, способность к рассуждению и вызову инструментов.
Хотя всё больше вычислительных ресурсов уходит на постобучение — усиление рассуждений и способности решать задачи — одним из самых дорогих и требовательных к данным этапов остаётся получение чекпоинта предобучения (под «чекпоинтом» здесь имеется в виду гигантский файл вроде claude-super-secret-2026-11-01-base.cpkt).
Все лаборатории работают немного по-своему, но в целом (см. ~стр. 44) картина выглядит так:
Команда «предобучения» запускает и ведёт многомесячный прогон для получения базового чекпоинта. Эти базовые модели предобучения часто (но не всегда) соответствуют крупным версиям выпускаемых моделей (GPT-4 → GPT-5).
Параллельно команды «capability» и «post-training» экспериментируют с улучшением самой свежей базовой модели. Продвижения в постобучении и возможностях моделей часто проявляются как минорные версии выпускаемых моделей. Эти команды также нередко «дистиллируют» одну постобученную модель в более мелкие варианты, из которых складываются семейства моделей (Fable/Opus/Sonnet/Haiku, Sol/Terra/Luna). Лаборатории могут выпускать постобученные модели из «недопечённых» чекпоинтов предобучения, как только x% чекпоинта версии N+1 превосходит полностью «готовую» версию N.
Публично выпускаемая модель — это итог наиболее свежего чекпоинта с лучшим набором возможностей и техник постобучения, применённых к нему.
Учитывая это, возник интерес — сколько из этого процесса можно «увидеть», просто прощупывая модель через официальные API.
Временные рамки знаний моделей
Исторические викторины
Чтобы оценить даты чекпоинтов предобучения, был собран датасет ежедневных фактов из Википедии (например, «2025 год в США»), и каждой модели предлагалась викторина с 8 вариантами ответа о том, что произошло в конкретный день. Анализируя динамику ошибок во времени, можно приблизительно определить момент, когда модель теряет сигнал из тренировочного датасета.
Это можно построить для всех моделей сразу.
После внимательного изучения этих графиков можно сделать несколько предположений:
Модели Anthropic от Opus 4.7 и новее, судя по всему, происходят из одного тренировочного прогона, обрезанного примерно в конце декабря 2025 года. Это видно по тому, что у всех этих моделей очень похожая эффективная граница знаний (зелёная линия). Ключевое допущение здесь — что дата завершения базового чекпоинта предобучения сильно коррелирует с временным охватом использованного датасета; если это не так, оценки могут сдвинуться (например, реальная дата — январь 2026). Также интересно, что у всех моделей Opus 4.7+ опубликованные «надёжная» и «общая» границы знаний совпадают — возможно, дело в новой технике постобучения.
Семейство GPT-5.6 от OpenAI построено на собственном чекпоинте, отдельном от GPT-5.5, завершённом примерно в конце февраля 2026 года. Это видно по тому, что у этого семейства заметно отличается эффективная граница знаний от предыдущих моделей. Модель Luna выглядит так, будто может «предсказывать будущее» — но это скорее артефакт общей высокой частоты ошибок при «низком» уровне рассуждений.
Opus 5 выделяется на общем фоне. Опубликованные «надёжная» и «общая» границы знаний указывают на май 2026 года, но по сути модель не знает больше, чем предыдущие модели с отсечкой в январе 2026. Проведено несколько абляций, чтобы проверить, не связано ли это с типом используемых зондирующих вопросов, — но нет: та же граница проявляется и при вспоминании версий программных пакетов.
Самостоятельно указанные даты
А что, если просто спросить модель, какое сегодня число?
Результаты неплохо коррелируют с оценками по фактам. Если присмотреться, внутри некоторых семейств моделей видны вертикальные линии:
GPT-4.1 nano → GPT-4.1 mini → GPT-4.1
Opus 4.7 → Sonnet 5 → Fable/Opus 5
Если интерпретировать этот график как X = «корпус предобучения», а Y = «поведение после постобучения», то такие вертикальные полосы (X постоянно, Y растёт) визуализируют активное постобучение на датасетах с уклоном в свежесть данных. Возможно, дистилляция от старых копий моделей-учителей объясняет, почему более мелкие модели указывают более старые даты.
Самоидентификация моделей
Можно также делать выводы о временных рамках обучения и составе датасетов косвенно — через то, кем модели считают себя. Чем чаще модель встречала фразу «я — X» в датасете предобучения, тем выше вероятность, что она повторит это утверждение, если её подтолкнуть к ответу без другого контекста для «заземления».
После изучения этих графиков напрашиваются такие выводы:
Вертикальные полосы явно показывают, что лаборатории обучают модели на выводах предыдущих версий (полученных от пользователей). У OpenAI это GPT-4, затем GPT-4o, недолго GPT-4.1, GPT-5 и в последнее время «ChatGPT». У Anthropic — сначала 3.5 Sonnet, затем более свежие модели переключаются на самоидентификацию как Sonnet 4.5. Это неплохо согласуется с гипотезой обучения на чатах с ChatGPT.com и Claude.ai соответственно, где пользователи общались с последней версией модели, и эти сессии становились материалом для обучения (напрямую или через попадание в веб-данные). Вряд ли это идёт из внутренних синтетических датасетов — их было бы гораздо проще очистить от подобных следов идентичности (в отличие от системного промпта в потребительских чат-сессиях). Сам факт обучения на чатах — не новость, но интересно увидеть его буквальное подтверждение через такое зондирование.
Забавная деталь: модели OpenAI никогда не называют себя моделью другой лаборатории (кроме единичного случая с Tesla Model S), тогда как Sonnet 5 от Anthropic регулярно называет себя GPT-4. Едва ли Anthropic намеренно дистиллирует GPT-4 — скорее, вероятно, что немало старых чатов ChatGPT всё ещё попадает в тренировочную смесь Claude. Это может передаваться через поколения по линии Sonnet 3.5 (то есть Sonnet 5 обучен на данных Sonnet 3.5, в которых, в свою очередь, могла быть высокая доля данных, связанных с GPT-4). Дополнительно, в отдельном эксперименте, когда моделям предлагали отвечать на вопросы об идентичности «как бы отвечала модель X», модели Claude воспроизводили измеренные особенности моделей OpenAI в 68% случаев; модели OpenAI справлялись с этим для Claude лишь в 8% случаев.
Для самостоятельного изучения данных доступны следующие ссылки: