Google начала распространять в Gemini Live функцию Guided Vision для слепых и слабовидящих людей. Если навести камеру смартфона на что-то, Gemini расскажет, что видит, ответит на уточняющие вопросы и голосом подскажет, как поправить камеру, если обзор плохой: «поверните вправо», «наклоните вниз», «отойдите назад».

Как к этому шли

Google развивала эту идею в Gemini Live больше года. Сначала появились визуальные подсказки, выделявшие объекты на экране. Android Authority ранее находил в коде отдельный переключатель Guided Vision и быстрый доступ через меню специальных возможностей. В сентябре Google показала готовую функцию с пометкой «скоро», а теперь она действительно запущена.

Чем поможет

  • прочитать мелкий текст на этикетке;
  • разобраться в кнопках бытовой техники;
  • найти упавший наушник;
  • отыскать нужную вещь в заставленном шкафу;
  • подобрать одежду по цвету;
  • описать незнакомое помещение.

Функция поддерживает разговор на нескольких языках.

Сделано вместе с незрячими

Google разработала Guided Vision вместе с Aira — сервисом, который помогает незрячим людям через видеосвязь с операторами. В тестировании участвовали более 1000 человек из сети доверенных тестировщиков Aira.

Как включить

  • в настройках приложения Gemini;
  • через меню «Специальные возможности» в Android;
  • прямо из экранного чтеца TalkBack.

Guided Vision работает на устройствах с Android 9 и новее в регионах и на языках, где поддерживается Gemini Live.

Важное ограничение

Как и любой ИИ, Guided Vision может ошибаться. Google и Android Authority прямо предупреждают: не стоит полагаться на функцию для навигации, обнаружения препятствий или вместо привычных средств передвижения вроде трости или собаки-поводыря. Это помощник для бытовых задач, а не замена проверенным инструментам.

Почему это важно

Подобные функции — один из самых полезных примеров применения ИИ в повседневной жизни. Раньше незрячему человеку для прочтения этикетки или выбора одежды часто требовалась помощь другого человека или платный сервис. Теперь базовые задачи можно решить с помощью смартфона бесплатно. Если у вас есть пожилые родственники со слабым зрением, функцию стоит показать и им — она пригодится не только полностью незрячим людям.

Источники: Android Authority.