Microsoft встроила GPT-4 в визуальный помощник Be My Eyes AI для незрячих людей

[Ippolitovich]

Microsoft заключила партнёрское соглашение с компанией Be My Eyes, которая помогает людям с нарушениями зрения решать повседневные задачи с помощью волонтёров. Софтверный гигант интегрировал созданный Be My Eyes инструмент цифрового помощника Be My AI в свою службу Microsoft Disability Answer Desk, позволяющую слабовидящим пользователям решать технические проблемы или выполнять такие задачи, как обновление программного обеспечения без помощи работника колл-центра. Be My AI использует модель зрения на основе OpenAI GPT-4 для создания описаний изображения, например, фотографии, инструкции по настройке компьютера или этикетки продукта. Благодаря общению на естественном языке с использованием ИИ, инструмент также предоставляет контекстные рекомендации, помогающие незрячим и слабовидящим пользователям лучше адаптироваться и решать различные проблемы. После совместного с Microsoft тестирования Be My AI в начале этого года компания Be My Eyes заявила, что инструмент обрабатывает запросы в среднем за четыре минуты, что составляет менее половины среднего времени разговора с агентами-людьми. Кроме того, лишь 10 % пользователей потребовался разговор с представителем службы поддержки клиентов после взаимодействия с инструментом ИИ.

 

 

«Microsoft гордится тем, что является первой компанией, которая интегрировала Be My AI в службу поддержки клиентов. Интеграция данного решения создаёт инновационный, быстрый и эффективный способ получения помощи от Microsoft для клиентов с ограниченными возможностями, — заявила Дженни Лэй-Фларри (Jenny Lay-Flurrie), директор Microsoft по вопросам доступности. — Объединив опыт Microsoft и инновационные решения Be My AI, мы обеспечиваем независимость людям с ограниченными возможностями». Партнёрство Microsoft с Be My Eyes — это очередной шаг компании к повышению доступности её продуктов на основе ИИ. Ранее в этом году на ежегодном саммите Microsoft Ability Summit компания представила «Помощника по доступности» для Microsoft 365, который в режиме реального времени ассистирует в создании контента. Доступность контента для людей с ограниченными возможностями зависит от структуры документа, цветов фона и текста, наличия описаний для изображений, оформления таблиц и использования абзацев.

 

 

OpenAI на своей первой конференции для сообщила, что её продукты используют более 2 миллионов разработчиков, из которых 92 % работают в компаниях из списка Fortune 500. Компания также представила ряд новых функций, например, инструмент для создания пользовательских версий ChatGPT без необходимости программирования. На конференции была упомянута и Be My Eyes. «OpenAI гордится сотрудничеством с Be My Eyes, — сказал Брэд Лайткэп (Brad Lightcap), главный операционный директор OpenAI. — Они использовали наши модели искусственного интеллекта, чтобы значительно улучшить повседневную жизнь людей с плохим зрением или слепотой». Be My Eyes в настоящее время проводит бета-тестирование своего инструмента Be My AI совместно с другими компаниями, включая Sony, Procter & Gamble и Hilton.