Четыре ключевых возможности Genie 4

Genie 4 представляет собой серьёзный шаг вперёд в области моделирования миров. Вот его основные способности:

Формирование симуляции мира в реальном времени

Модель позволяет использовать естественный язык для изменения симуляции в реальном времени — например, менять погоду, двигать камеру или вводить новых персонажей и объекты. Gemini при этом контекстно адаптирует запрос под окружающую сцену. Между вводами пользователя модель также следит за сценой и направляет её развитие, сохраняя согласованность мира.

Продвижение границ фотореалистичности физики и действий

Genie 4 устанавливает новый стандарт фотореалистичности в интерактивной симуляции. Построенная на глубоком понимании физики мира, модель симулирует реальные физические сценарии — аэродинамику, столкновения и многое другое.

Наиболее значительный скачок касается симуляции людей: персонажи движутся естественно, органично реагируют на окружение и могут управляться интерактивно в реальном времени.

Моделирование звука миров

Genie 4 — первая модель симуляции миров в реальном времени, которая генерирует аудио нативно. Каждый мир несёт естественный звук своего окружения — от ветра в деревьях до волн на пляже.

Главная граница исследований — человеческая речь. Genie 4 вводит интерактивные диалоги, которые адаптируются на лету. Персонажи разговаривают и реагируют на вводы пользователя или события в мире — всё в реальном времени.

Симуляция сложных событий с моделями Gemini

Объединение Gemini и Genie 4 добавляет новый слой рассуждений в симуляцию мира, позволяя моделировать сложные многошаговые события и тестировать, как системы AI ориентируются в разных окружениях до внедрения в реальный мир.

Для достижения этого в реальном времени Gemini 3.8 Flash работает как направляющий агент в цикле: при генерации мира Genie 4 в реальном времени Gemini непрерывно наблюдает сцену, разбивает цели на последовательность шагов и отслеживает входящие кадры, проверяя прогресс и успешность каждого шага. По мере изменения мира или вмешательства пользователя Gemini адаптирует свой план в реальном времени, открывая возможность миров с надёжной причинностью, процедурным поведением и многошаговым рассуждением.

Обучение от проверяющих

Хотя Genie 4 — крупный исследовательский прорыв, это остаётся ранней экспериментальной моделью. Чтобы понять, как модели интерактивных миров могут поддерживать реальные рабочие процессы и где им ещё нужно развиваться, работали с группами проверяющих из творческих индустрий, журналистики, образования, игр и инженерии.

Проверяющие выделили, как скачок в фотореалистичности, нативном аудио и управлении в реальном времени позволяет превращать идеи и концепции в реалистичные симуляции, открывая новые возможности в разных дисциплинах:

  • Творческое направление: создатели и технологи тестируют Genie 4 как быстрый "режим черновика" для предвизуализации и идеации. Например, кинематографисты могут войти в живую симуляцию сцены и провести несколько "дублей" в реальном времени, регулируя углы камеры, освещение, диалоги и действие на лету.
  • Исторические сценарии и иммерсивные фотографии: фотожурналисты исследуют, как одна 2D архивная фотография может за секунды превратиться в обоснованную симуляцию этого окружения. Команды тестируют, как могут помочь населённые, динамичные миры испытать исторические места или визуализировать краткосрочные природные события, такие как внезапный паводок или лесной пожар.
  • Проектирование концепции интерактивного опыта: разработчики игр и творческие технологи тестируют Genie 4, чтобы перейти от начальной идеи к исследуемому прототипу за секунды, тестируя визуальные стили, эстетику материалов и интерактивную механику через промпты на естественном языке, прежде чем написать хоть одну строку кода движка.
  • Симуляция: помимо исследований робототехники, корпоративные партнёры из разных индустрий оценивают Genie 4 как инструмент для быстрого "нулевого старта" генерации сценариев и выявления пробелов для дальнейшего совершенствования Genie.

Будущая работа: в направлении гибридных моделей миров

Перспективный путь развития лежит в гибридных моделях миров, которые комбинируют логичное структурированное рассуждение моделей кода и языка с богатым сенсорным представлением пиксельной симуляции.

Сближение Genie и моделей Gemini — ранний шаг в этом направлении. Gemini работает за кулисами для отображения структуры и планирования временной шкалы повествования, в то время как Genie генерирует непосредственную физическую реальность — отрендеривая, как выглядит мир, звучит и реагирует пиксель за пикселем. Вместе эти дополняющие силы могут открыть новый класс моделей миров, которые намного более связные, управляемые и обоснованные, чем любой подход мог бы добиться в одиночку.

Ответственное развитие моделей миров

Genie 4 представляет новую область передовых исследований, которые объединяют генерацию в реальном времени и фотореалистичность, вводя новый спектр возможностей, которые хотят внедрять и исследовать ответственным образом. Genie 4 включает строгие ограничения безопасности, соответствующие политикам безопасности других моделей. Перед запуском этого превью провели внутренние строгие оценки безопасности для предотвращения генерации вредоносного контента. Кроме того, намеренно внедрили его в первую очередь проверенным партнёрам-тестерам, чтобы получить ранние отзывы перед более широким выпуском модели.

Для поддержания прозрачности все видео и аудио, генерируемые Genie 4, будут включать SynthID — технологию незаметного цифрового водяного знака, которая помогает выявить AI-генерируемый контент по визуальным и аудиомодальностям.

Понимание текущих ограничений

Genie 4 остаётся ранней, развивающейся областью исследований.

Хотя может поддерживать согласованные окружения в течение коротких сеансов, визуальные детали и постоянство объектов могут со временем сдвигаться или дрейфовать — особенно при более длительном запуске симуляции, после нескольких сложных правок промпта или при навигации по сцене. Сложные физические взаимодействия, точность аудио в реальном времени, рендеринг читаемого текста, пространственная точность и долгосрочная согласованность — активные области текущих исследований. Делятся Genie 4 как превью, чтобы учиться вместе с сообществом и безопасно продвигать границу интерактивной симуляции.

Следующие шаги для Genie 4

Genie 4 выпущена как исследовательский превью для проверенных тестеров и скоро станет доступна для подписчиков Google AI Ultra в Project Genie и партнёров раннего доступа в Gemini API и Google AI Studio. Присоединиться к списку ожидания Genie 4 в Project Genie можно здесь.

С нетерпением ждём, когда пользователи смогут войти в симуляцию, экспериментировать и вскоре создавать свои собственные интерактивные миры.

Благодарности

Genie 4 стала возможна благодаря основным вкладам Hang Qi, Diego Rivas, Aleksander Hołyński, Inbar Mosseri, Jack Parker-Holder, Shlomi Fruchter, Tejas Kulkarni, James Assiene, Philip Ball, Jakob Bauer, Eddie Cao, Lucy Chai, Harris Chan, Kleopatra Chatziprimou, Hao Chen, Yoni Choukroun, Mark Collier, Enric Corona, Kurtis David, Ariel Ephrat, Maxime Gazeau, Ruiqi Gao, Chelsee Glover-Odom, Liangke Gui, Swaroop Guntupalli, Shan Han, Tingbo Hou, Jiri Hron, Hui Huang, Drew A. Hudson, Zhouyuan Huo, Linyi Jin, Christos Kaplanis, Dhrupad Karwa, Eunyoung Kim, Congtao Kuang, Eliot Laidlaw, José Lezama, Hao Li, Shuang Li, Yuchen Liu, Hanzi Mao, Mark Matthews, Matt McGill, Kay McKinney, Ricardo Monti, Mark Murphy, Joseph Ortiz, Roni Paiss, Frank Perbet, Ben Poole, Tal Reiss, Konstantinos Rematas, Guy Scully, Jeremy Shar, Shashank Shastry, Sri S, Omer Tov, Ruben Villegas, Andrey Voynov, Hongjie Wang, Luyu Wang, Kaustubh Sridhar, Mo Samsami, Stephen Spencer, Yufei Wang, Will Whitney, Rundi Wu, Joyce (Jingjing) Xie, Jesse Yin, Shiran Zada, Serena Zhang, Xiaofan Zhang, Zhengqi Li, Zhixing Zhang, Yuan Zhong, Shuo-yiin Chang, Dmitry Lagun, Ronny Huang, Yao Su, Ankush Gupta, Genzhi Ye, Haolin Jia, Weiqin Wang, Xi Xiong, Salah Zaiem, Carol Zheng.