Google DeepMind анонсувала Genie 4 — нову версію моделі, яка генерує звук і діалоги разом із зображеннями, дозволяючи змінювати середовище текстовими командами в реальному часі.
Основні можливості Genie 4
Genie 4 розширює функціонал попередніх версій, надаючи користувачам можливість безпосередньо втручатися в симуляцію. Наприклад, можна змінити погоду, додати персонажа або предмет, а також перемістити камеру. Модель адаптує команди до поточної сцени, зберігаючи послідовність подій.
Генерація звуку та покращена фізика
Ця модель стала першою в Google, яка підтримує нативну генерацію звуку, створюючи музику та звуки середовища одночасно із зображеннями. Персонажі можуть спілкуватися та реагувати на дії користувача.
Технології Gemini
Genie 4 використовує технології сімейства Gemini. Gemini Omni покращує вигляд симуляції, а Gemini 3.8 Flash слугує керівним агентом, що спостерігає за сценою та контролює виконання завдань.
Застосування та обмеження
Google також тестує Genie 4 у поєднанні з Gemini 4 Argon для робототехніки, що може бути корисним для тренування роботів. Серед можливих сценаріїв — візуалізація фільмів, реконструкція історичних місць та освіта.
Проте Genie 4 не замінює ігровий рушій і має обмеження, зокрема у тривалих сесіях можуть зникати предмети, а модель помиляється в складних фізичних взаємодіях.
Genie 4 наразі тестується обмеженим колом партнерів і незабаром стане доступною у Project Genie для підписників Google AI Ultra. Дати та вартість поки не оголошені.
Джерело: Mezha.Media (https://mezha.ua/news/google-genie-4-316614/)