«Алиса AI» поможет незрячим ориентироваться в пространстве с помощью камеры смартфона

[душман]

Мобильное приложение «Алиса AI» получило обновление, которое сделает его более полезным для людей с нарушениями зрения. Команда Яндекс адаптировала Live-режим, позволяющий в реальном времени получать информацию об окружающем мире через камеру смартфона.

Новая функция призвана помочь незрячим и слабовидящим пользователям в повседневной жизни. Наведя камеру на объект, человек может голосом задать вопрос и получить ответ от нейросети. Например, можно узнать, с какой стороны находится вход в магазин, что написано на дисплее бытовой техники или какие продукты лежат в холодильнике и что из них можно приготовить.

В основе технологии лежит мультимодальная нейросеть Alice AI VLM, способная распознавать объекты и описывать их. Диалог с «Алиса AI» происходит в голосовом формате, а история запросов сохраняется в чате. По словам менеджера по цифровой доступности Яндекса Анатолия Попко, эта технология является инструментом для самостоятельной ориентации в пространстве и решения бытовых задач без посторонней помощи.

Включить Live-режим можно в меню приложения или голосовой командой. Функция доступна бесплатно на устройствах Android и iOS. При этом активировать режим голосом пока могут только пользователи Android, но в Яндексе обещают добавить эту возможность и для iOS-устройств в ближайшее время. Обновление было представлено на фестивале Young Con в Москве.