Google DeepMind представила Genie 4 — модель штучного інтелекту для створення інтерактивних віртуальних світів у реальному часі. Вона генерує зображення, звуки та розмови персонажів, а користувач може змінювати середовище текстовими командами. Наразі новинку тестує обмежене коло партнерів компанії.
Що вміє Genie 4
Genie 4 дозволяє створювати віртуальні світи та змінювати їх безпосередньо під час взаємодії. Користувач може керувати рухом і камерою за допомогою клавіатури, а текстовими командами змінювати події в середовищі.
Наприклад, можна попросити ШІ змінити погоду, додати нового персонажа або перемістити об'єкт. Модель адаптує ці зміни до вже створеної сцени, щоб події залишалися пов'язаними між собою.
Genie 4 також відтворює рухи людей і взаємодію предметів. За заявою розробників, модель краще моделює фізичні явища, зокрема зіткнення та рух об'єктів у повітрі.
Окремою можливістю стала генерація звуку. Genie 4 створює фонові шуми відповідно до середовища, наприклад вітер серед дерев або хвилі на узбережжі.
Модель також підтримує інтерактивні діалоги. Персонажі можуть розмовляти та реагувати на дії користувача або події у створеному світі.
Google наголошує, що зображення та звук генеруються одночасно. Завдяки цьому користувач може не лише спостерігати за сценою, а й активно впливати на її розвиток.
Як Genie 4 працює разом із Gemini
Genie 4 використовує можливості моделей Gemini, щоб підтримувати послідовність подій у віртуальному світі. Genie відповідає за створення зображення та звуку, а Gemini допомагає визначати, що має відбуватися далі.
Зокрема, Gemini Omni допомагає наближати вигляд і поведінку об'єктів до реального світу. Інші моделі сімейства Gemini використовуються для складніших завдань, пов'язаних із логікою подій.
Якщо користувач змінює умови або втручається в події, Gemini може скоригувати план. Це дозволяє моделювати ситуації, у яких результат залежить від кількох послідовних дій.
Компанія також експериментує зі спільною роботою Genie 4 та Gemini 4 Argon. В одному з прикладів ці моделі використовували для симуляції гуманоїдного робота Apollo, який грає в шашки.
Google розглядає такі можливості як інструмент для створення навчальних середовищ для роботів і ШІ-агентів. У віртуальних світах вони зможуть відпрацьовувати дії перед використанням у реальних умовах.
Серед інших напрямів застосування компанія називає розробку ігор, кіновиробництво, освіту та інженерію.
Коли Genie 4 стане доступною користувачам
Genie 4 поки працює в експериментальному режимі й доступна лише обмеженому колу тестувальників. Google збирає відгуки партнерів перед ширшим запуском.
Надалі компанія планує надати доступ передплатникам Google AI Ultra через Project Genie. Ранній доступ також отримають окремі партнери Gemini API та Google AI Studio.
За словами Google, тестувальники вже досліджують можливості Genie 4 для створення прототипів ігор, попередньої візуалізації кінематографічних сцен та моделювання різних ситуацій.
Водночас модель має обмеження. Під час тривалих симуляцій деталі об'єктів можуть змінюватися, а середовище — втрачати послідовність.
Складні фізичні взаємодії, точність звуку, відтворення читабельного тексту та стабільність простору також потребують подальшого вдосконалення.
Всі відео й аудіоматеріали, створені Genie 4, міститимуть цифрове маркування SynthID. Воно призначене для розпізнавання контенту, згенерованого штучним інтелектом.
