Карта бенчмарков американской экономики

AI-бенчмарки множатся, но покрытие экономически значимой работы остаётся ограниченным. Чтобы это измерить, компания Mercor составила список релевантных бенчмарков для оценки их охвата американских профессий. Карта бенчмарков — первый шаг к созданию исчерпывающего постоянно обновляемого ресурса для понимания возможностей AI в разрезе экономики.

Из данных исследования:

  • 208 профессий из 923 имеют покрытие
  • 924 задач из 18 797 включены в бенчмарки
  • 29 бенчмарков в индексе

Структура карты

Каждая плитка на карте представляет одну из 923 профессий O*NET, сгруппированных в 22 семейства должностей. Профессии закрашены в зависимости от доли их задач, которые представлены в начальном списке AI-бенчмарков. Один benchmark prompt может соответствовать нескольким O*NET-задачам.

Только 208 из 923 профессий имеют задачи, покрытые минимум пятью benchmark prompts, и 6 из 22 семейств должностей вообще не имеют таких профессий.

Выводы исследования предполагают, что 90% американского рабочего времени приходится на задачи со слабым или нулевым покрытием существующими бенчмарками. Это затрудняет оценку того, насколько хорошо AI-модели справляются с реальной работой американцев.

Покрытие существующими бенчмарками распределено неслучайно. Карта показывает, что AI-сообщество сначала сосредотачивается на крупнейших рынках труда:

Например, бенчмарки в этом списке плотно покрывают задачи юристов, подверженных AI-автоматизации, но практически не охватывают O*NET-задачи помощников юристов или судебных секретарей с аналогичным потенциалом автоматизации. Длинный хвост более мелких, среднедоходных работ в сфере знаний явно недопокрыт.

По мере расширения охвата возможностей моделей во всей экономике исследователи надеются как выявить, так и помочь заполнить пробелы в понимании того, что могут делать модели.

Методология в кратце

Для разделения экономики на секторы, профессии и задачи использовалась O*NET — таксономия Министерства труда США. O*NET делит американскую рабочую силу на 923 профессии; для каждой профессии O*NET предоставляет исчерпывающий список «задач», составляющих профессию, всего 18 797 задач по всем профессиям.

Для измерения покрытия бенчмарками начали со списка 29 бенчмарков, отобранных по критерию качества и экономической значимости. При отборе приоритизировались:

  • Открытость. Включённые бенчмарки содержат минимум 25 публично доступных задач. Также включены APEX-бенчмарки Mercor, где есть доступ к отложенным benchmark prompts для соответствия с O*NET-задачами.
  • Агентные задачи. Включённые бенчмарки требуют от моделей выполнения агентных задач, а не просто ответов на вопросы или советов по завершению задачи.
  • Экономическая реалистичность. Задачи бенчмарков напоминают задачи, которые в реальных предприятиях часто просят выполнить люди или агенты. Экономически ценные задачи приоритизируются над академически сложными.
  • Экономическое разнообразие. Ограничено число включённых бенчмарков на семейство должностей, в значительной степени для учёта огромного переизбытка задач разработки ПО и исследований в популярных бенчмарках.
  • Сбалансированная сложность. Бенчмарки ещё не перенасыщены передовыми моделями.

Далее LLM-судья помечает каждый benchmark prompt столькими O*NET-задачами, сколько он считает соответствующими этому prompt'у. Таким образом валидируется LLM-разметка с помощью экспертных оценок на APEX-бенчмарках Mercor — подмножестве этого списка из 29. На карте O*NET-задача считается «покрытой», если LLM-судья соответствовал ей минимум пять prompt'ов из 29 бенчмарков.

Для оценки общей доли рабочего времени американцев, затраченного на задачи, покрытые этим списком, объединены оценки покрытия с LLM-производными оценками рабочего времени каждой O*NET-задачи.

Ограничения

Все оценки полного охвата экономики и закономерности покрытия основаны на начальном списке из 29 выбранных бенчмарков. Это не полная и не совершенно репрезентативная выборка более широкой вселенной неперенасыщенных, открытых, агентных экономических бенчмарков. Любой неполный список обязательно смещает вниз оценки охвата экономики, и трудно ограничить это смещение. Поэтому подчёркивается, что эти результаты предварительны и будут обновлены по мере расширения начального списка бенчмарков.

Также ограничено число включённых бенчмарков в каждое семейство должностей для максимизации ширины охвата. Это делает оценку охвата бенчмарками на уровне экономики более точной за счёт смещения вниз оценок охвата в наиболее тестируемых семействах должностей (например, разработка ПО).

Выбирая неперенасыщенные бенчмарки, возникает риск недооценить охват на O*NET-задачах, которые для LLM легче выполнять. С другой стороны, включение перенасыщенных бенчмарков рискует переоценить охват, если перенасыщение происходит вниз по цепи из-за более низкой реалистичности задач. Последнее утверждение кажется вероятным, поскольку бенчмарки часто переоценивают производительность LLM при реальном развёртывании. Считается, что смещение от включения перенасыщенных бенчмарков было бы больше, чем от их исключения, но ни один вариант не идеален.

Наконец, хотя критерии отбора бенчмарков описаны в вкладке Benchmark Index, несколько критериев (например, «Economic Realism») сложно формализовать, что вносит субъективность в выбор.

Закономерности в охвате

Бенчмарки в индексе имеют относительно глубокое и узкое покрытие экономики в целом. Они несоразмерно сосредотачиваются на экономических задачах, наиболее подверженных AI-автоматизации, причём O*NET-задачи с высокой подверженностью примерно в 6 раз чаще представлены в бенчмарках, чем задачи с низкой подверженностью. Это логично: бенчмарки разработаны для измерения прогресса AI, а прогресс AI вероятнее всего на наиболее подверженных AI задачах. Это объясняет, почему бенчмарки переполнены задачами из разработки ПО и финансового анализа, а задачи из дальнобойки и управления газовым заводом редки.

Но даже после учёта подверженности AI O*NET-задачи из профессий с большей суммой заработных плат значительно переопредставлены среди benchmark prompts:

После учёта профессии и оценки подверженности AI другим предиктором охвата бенчмарками является «значимость задачи» в O*NET. В частности, O*NET-задачи содержат оценки экспертов от специалистов в области значимости задачи для её профессии по шкале 1–5. Исследование показывает, что задачи, оценённые как наиболее важные, примерно в 6–10 раз чаще представлены в бенчмарках, чем задачи, оценённые как наименее важные:

Эти диаграммы показывают разумное распределение относительно ограниченных ресурсов, выделенных до сих пор на высококачественные, экономически значимые бенчмарки; естественно приоритизировать создание бенчмарков, охватывающих наиболее важные и подверженные AI задачи в профессиях с крупнейшей суммой заработных плат. Но без значительного увеличения количества и разнообразия таких бенчмарков эти закономерности приведут к значительным слепым пятнам в представлении о возможностях моделей, имеющих экономическую ценность.

Могут ли O*NET и бенчмарки сказать, насколько хорош AI в вашей работе?

Измерение возможностей модели по профессиям существенно — для предприятий, выбирающих подходящие модели, для политиков, прогнозирующих экономическое воздействие AI, и для американцев, думающих о своих карьерах. К сожалению, это сложная задача.

Можно просто усреднить производительность модели на всех benchmark prompts, относящихся к той или иной должности. Но как показывает карта бенчмарков, бенчмарки охватывают некоторые экономические задачи намного более интенсивно, чем другие. Простое среднее даст слишком большой вес часто протестированным задачам.

O*NET предлагает способ потенциально снизить эту предвзятость. Если усреднить производительность модели на relevant benchmark prompts, взвешенных по O*NET-классификации, так чтобы каждая O*NET-задача была равновзвешена в среднем по профессиям, это приблизит к числу, представляющему реальную экономическую производительность.

В качестве первого шага это применяется к APEX-бенчмаркам Mercor для четырёх профессий: инвестиционного банкинга, права, бухгалтерии и разработки ПО. Взвешенные по O*NET-задачам оценки сравниваются с простыми средними по производительности моделей на задачах, относящихся к каждой профессии. Полученные взвешенные и невзвешенные оценки в целом очень похожи:

В этом случае O*NET-взвешивание меняет очень мало. Производительность модели на APEX prompts похожа во всех включённых O*NET-задачах, что ограничивает ценность переквешивания. Однако менее ⅓ O*NET-задач, релевантных 4 профессиям выше, имеют достаточное APEX-покрытие для включения в взвешенные оценки. Надежда на то, что применение O*NET-взвешивания к намного большему набору бенчмарков приведёт к высококачественным специфичным для профессии оценкам моделей, и работа над этой целью ведётся.

Однако даже при включении задач из десятков бенчмарков остаются несколько препятствий:

  1. Как справиться с низкой статистической мощностью?

    Сама широта работы, выполняемой в американской экономике, означает, что для любой O*NET-профессии и задачи есть относительно мало benchmark-элементов. Это означает, что оценки по своей природе недостаточны по мощности, и даже один-два низкокачественных элемента могут серьёзно смещать оценки.

  2. Как учесть разнообразие сложности и верности задач?

    Некоторые benchmark-элементы высоко перенасыщены, тогда как другие остаются нерешёнными. Это отчасти функция времени (так как старые бенчмарки были разработаны для менее производительных моделей и более простых окружений) и отчасти функция качества (некоторые benchmark-элементы упрощённо оцениваются, содержат незначительные ошибки или могут быть взломаны через reward hacking). Пока нет явного способа взвешивания по качеству.

  3. Могут ли evals, в первую очередь измеряющие автоматизацию AI, обобщаться на augmentation?

    В реальном мире AI-модели всё ещё используются в основном людьми, а не автоматизируют целые функции должностей от начала до конца. Поэтому измерение реальных способностей модели по профессиям должно в идеале включать измерение того, на сколько модель улучшает производительность человека. Проведена некоторая ранняя работа в этом направлении, но поиск методологии, которая масштабируется, остаётся неуловимой.

  4. Может ли каждая O*NET-профессия и задача быть измерена с помощью бенчмарков?

    Работа, основанная на знаниях, хорошо подходит для измерения через бенчмарки, так как в основном выполняется на цифровых устройствах, таких как ноутбуки и телефоны. Оценки предполагают, что только 37% рабочих мест США могут быть выполнены полностью удалённо, предполагая, что ~63% рабочих мест включают задачи с компонентом физического мира, который было бы сложно включить в текущие бенчмарки. На данный момент это может быть не значимым упущением — с быстрым развитием возможностей робототехники ожидается значительный спрос на бенчмарки физических задач.

Работа над этими проблемами ведётся активно; если вы тоже этим занимаетесь, пожалуйста, свяжитесь!

Признана помощь Wang et al. за методологию O*NET-разметки и благодарность Nathan Lambert за обратную связь о черновике этой работы.