Масштабирование в сторону персональной суперинтеллекта
Четырнадцать месяцев назад Meta начала полную переработку своих исследований в области искусственного интеллекта. За это время компания перешла от перестройки технического стека с нуля к выходу на границу возможностей.
Когда представили Muse Spark, изложили подход к предсказуемому и строгому масштабированию. Нынешний релиз строится на этой работе как в предварительном обучении, так и в обучении с подкреплением, доставляя самые мощные на сегодня модели. Обученные на гигаваттном дата-центре Prometheus, Muse Wonder и Muse Wonder Full объединяют работу команд по всей Meta для предоставления фронтальных возможностей в сложных рабочих и бытовых задачах — очередной шаг к привнесению персональной суперинтеллекта миллиардам пользователей продуктов Meta.
Фронтальные возможности
Характеристики модели
Серия Muse Wonder показывает передовые результаты по ключевым бенчмаркам для персональных и профессиональных агентов, памяти и кодирования.
Полные результаты ниже сравнивают Muse Wonder и Muse Wonder Full с другими фронтальными моделями в широком наборе оценок.
Для получения дополнительных сведений об оценках смотрите в отчёте.
Приведённые выше результаты дают общее представление о производительности моделей. Теперь рассмотрим четыре области, центральные для работы на реальных задачах: специализированные знания, Active Memory, Active Focus и фронтальное кодирование.
Специализированные знания
Muse Wonder и Muse Wonder Full применяют специализированные знания к проблемам, с которыми люди сталкиваются на работе и в повседневной жизни — от разбора договора аренды до понимания финансовой или медицинской информации. Оценки включают задачи в области права, финансов и здравоохранения, которые проверяют эту способность. Например, Legal Agent Benchmark (LAB) от Harvey требует от моделей работы с исходными документами и выполнения подробных инструкций для создания юридических документов.
Active Memory
Один из самых критических этапов на пути к полезным персональным и профессиональным агентам — надёжная память. Модели должны помнить, что важно, и распознавать, когда ранняя информация становится релевантной. Это называется Active Memory: сохранение важного контекста о пользователе между разговорами и активное извлечение деталей, релевантных для выполняемой задачи.
Active Focus
Использование этого контекста для завершения задачи также требует устойчивых усилий. Active Focus описывает, как Muse Wonder продолжает работать над сложной целью: пробует альтернативные подходы, преодолевает препятствия и адаптируется к новой информации. При этом запрашивает уточнения когда нужно и проверяет перед принятием важных решений. Active Focus оценивается через FocusBench и устойчивое выполнение через SWE-Marathon, который тестирует работу над долгосрочными программными проектами.
Фронтальное кодирование
Кодирование объединяет эти способности. Создание ПО требует отслеживания требований, внесения изменений по всей кодовой базе и работы через повторяющиеся циклы тестирования и доработки. Muse Wonder и Muse Wonder Full предоставляют фронтальную производительность кодирования, поддерживая проекты от небольших приложений к сложному ПО. Обе модели обучены на разнообразных, долгосрочных задачах, чтобы помочь им сохранять прогресс в этом процессе.
Возможности, которые обобщают
Две модели часто показывают похожие баллы бенчмарков, но одна явно справляется с гораздо более широким спектром незнакомых задач. Это касается как жалоб на «benchmaxxing», так и похвал за «большой запах модели» — широту возможностей, которую популярные бенчмарки в нескольких доменах не могут полностью охватить.
Чтобы количественно оценить это несоответствие, исследовали, как производительность задач, целевых при постобучении, соотносится с производительностью на незнакомых задачах по мере масштабирования вычислений во время теста. График ниже сравнивает Muse Spark 1.3 и Muse Wonder Full, каждая точка обозначает производительность при отдельном уровне умозаключения. Горизонтальная ось показывает оценку модели на составном представителе задач, на которых был сделан упор при постобучении («in-distribution»). Вертикальная ось показывает среднюю оценку на наборе задач, которые не были целевыми при постобучении («out-of-distribution»).
Обе модели одинаково улучшаются на задачах out-of-distribution по мере масштабирования вычислений во время теста. Но учитывая её производительность in-distribution, Muse Wonder Full показывает ещё лучше на незнакомых задачах, чем предсказал бы тренд Muse Spark 1.3. Этот восходящий сдвиг происходит потому, что Muse Wonder и Muse Wonder Full строятся на больших, более сильных базовых моделях: более сильная база даёт достижения постобучения, которые более эффективно переносятся на незнакомые задачи. Эта универсальность особенно важна для персональных агентов, которые должны справляться со многими комбинациями целей, инструментов и ограничений — не все из которых можно предусмотреть во время обучения.
Безопасность на границе возможностей
Предоставление персональной суперинтеллекта всем требует значительных инвестиций в выравнивание и безопасность. Персональный агент совершает действия от имени пользователя и может работать с контекстом, таким как сообщения, календари и приватные документы. Такой уровень доступа требует модель, которая проявляет рассудительность с приватной информацией и устойчива к неправомерному использованию. Семейство Muse Wonder обучено лидировать в обоих измерениях с устойчивостью к противоречивым инструкциям и тщательной обработкой приватной информации.
По мере того как модели становятся более мощными, цель — помочь людям безопасно и ответственно использовать эти возможности. Muse Wonder предлагает самые сильные до сих пор гарантии против неправомерного использования КБРН (химического, биологического, радиологического и ядерного) и кибернетического, сохраняя доступ к фронтальным кибернетическим возможностям для оборонительного использования в соответствии с Framework Meta Superintelligence Scaling Framework.
Muse Wonder — это самая совмещённая с человеческими ценностями модель компании на сегодняшний день, и совмещение — центральная часть того, как строится персональная суперинтеллект. Полный отчёт с дополнительными оценками безопасности будет доступен вскоре.
Meta надеется, что Muse Wonder и Muse Wonder Full дадут больше людей возможность преследовать свои мечты и строить мир, который они хотят. Это крупный технический шаг к персональной суперинтеллекту для всех, и впереди ещё многое.