Google запускає Guided Vision у Gemini Live: голосовий «провідник» для камери на Android

Автор ·

Google додав у Gemini Live нову функцію Guided Vision — це режим, у якому штучний інтелект у реальному часі «бачить» те, що потрапляє в камеру смартфона, і пояснює це голосом. Орієнтир — люди з порушенням зору, але користь є і для ширшої аудиторії, від літніх користувачів до тих, хто просто не може розібрати дрібний текст.

Guided Vision уже працює на сумісних Android-пристроях у регіонах і мовах, де доступний Gemini Live. Щоб скористатися, потрібна актуальна версія додатка Gemini та оновлена система Android (Android 9+).

Ключова ідея — перетворити Gemini на розмовного візуального асистента. Ви вмикаєте Guided Vision, ділитеся з ним камерою, а далі можете ставити природні голосові запитання на кшталт: «Що переді мною на столі?», «Де тут чорний перець?» чи «Чи підходить ця сорочка до цих штанів?». У відповідь Gemini описує побачене, дає підказки та пропонує уточнення.

Щоб модель адекватно працювала в реальних умовах, Google співпрацював із сервісом Aira, який спеціалізується на візуальній підтримці людей із порушенням зору. За участі понад тисячі тестувальників із їхньої спільноти модель «прокрутили» через десятки тисяч годин життєвих сценаріїв — від побутових задач до складніших ситуацій. Фахівці Aira також допомагали виставляти та перевіряти запобіжники безпеки.

Цікава деталь: Guided Vision не просто «читає картинку», а й активно керує кадром. Якщо камера спрямована надто високо, занадто близько або вбік, Gemini голосом попросить повільно повернути вправо, нахилити вниз чи зробити крок назад, щоб отримати кращий огляд. На практиці це важливо саме для людей, які не бачать екран і не можуть самі оцінити, наскільки вдало навели камеру.

Чому це важливо

По суті, Guided Vision — це спроба зробити з AI не просто чат-бота, а асистента, який підлаштовується під те, як ви реально рухаєтеся у просторі. Для українських користувачів це може означати кілька речей.

  • Щоденні задачі без сторонньої допомоги. Guided Vision допомагає: читати дрібний або складний текст (етикетки з харчовою цінністю, інструкції на техніці, меню в темному закладі); знаходити предмети поруч (впала навушна вкладка на підлогу, потрібна банка в шафці зі спеціями); описувати вигляд речей (колір куртки, візерунок на сорочці, поєднання одягу); орієнтуватися в незнайомому приміщенні (опис кімнати, розташування предметів на столі).
  • Не лише для людей із порушенням зору. Як це часто буває з доступністю, інструмент виявляється корисним ширшому колу: літнім людям, користувачам із низькою грамотністю або просто тим, хто намагається роздивитися дрібний текст у поганому освітленні. Це один із тих випадків, коли «фіча для доступності» перетворюється на зручний масовий інструмент.
  • Швидкий доступ у системі. Guided Vision можна запустити кількома способами: через додаток Gemini (увімкнути «Use Guided Vision in Live» у профілі, потім відкрити Gemini Live і поділитися камерою); через Android Accessibility Shortcut (налаштувати в розділі Settings → Accessibility → Vision assistance → Guided Vision і запускати плаваючою кнопкою, жестом двома пальцями чи одночасним натисканням обох клавіш гучності); через інтеграцію з TalkBack (меню TalkBack за допомогою трьох пальців і вибір Guided Vision).
  • Важливі обмеження безпеки. Google прямо наголошує: Guided Vision — це допоміжний інструмент, а не медичний пристрій чи засіб мобільності. Він не замінює білу тростину, навігаційні додатки або навички безпечного пересування і не призначений для виявлення перешкод чи прокладання безпечного маршруту. Тобто покладатися на нього варто як на «другу пару очей», а не як на єдиний орієнтир.

На мій погляд, головна цінність Guided Vision — у поєднанні розмовного інтерфейсу та камери. Це той випадок, коли AI стає ближчим до реальної допомоги в повсякденному житті, а не лише до генерації текстів і картинок. Якщо Gemini Live офіційно працює у вашому регіоні, варто протестувати Guided Vision хоча б на базових сценаріях — від читання інструкцій до «розбору» вмісту кухонної шафки.

Джерело: Google Blog (https://blog.google/innovation-and-ai/products/gemini-app/guided-vision-gemini-live/)