Ippolitovich Опубликовано 9 апреля Поделиться Опубликовано 9 апреля Исследователи компании Apple опубликовали работу, в которой описали систему генеративного искусственного интеллекта Ferret-UI, предназначенную для распознавания интерфейсов мобильных приложений. С её помощью ИИ сможет без предварительного обучения понимать интерфейс разных приложений и взаимодействовать с ними. Ferret-UI представляет собой большую мультимодальную языковую модель (MLLM), характерная особенность которых — способность к обучению на самых разных материалах, включающих текст, изображения, видео- и аудиоконтент. MLLM пока плохо справляются с распознаванием интерфейсов приложений и тому есть множество причин, одна из которых — несоответствие пропорций используемых для обучения изображений соотношению сторон экрана типичного смартфона. Искусственный интеллект плохо понимает мелкие изображения, такие как значки и кнопки, а кроме того, для анализа интерфейса приложения ему необходимо с ним взаимодействовать. По словам исследователей, им уже удалось превзойти GPT-4V и другие специализирующиеся на анализе интерфейсов MLLM. Сфера применения Ferret-UI описана довольно расплывчато. С одной стороны, Apple может делать это намеренно, дабы не подавать конкурентам идеи конкретных продуктов, с другой — исследователи разрабатывают технологии, а поиск возможностей их применения не входит в их задачи. Но есть очевидные варианты: например, с помощью Ferret-UI можно попробовать оценить эффективность пользовательского интерфейса или помочь слепым лучше понять происходящее на экране смартфона. Другим возможным применением нового ИИ может стать интеграция с Siri, благодаря чему последней можно будет отдавать команды для взаимодействия с приложениями, например, купить авиабилеты на определённое время и по указанному тарифу. ____________________________________________________________♦♦♦♦♦♦♦♦◄♫►WeissRussland◄♫►♦♦♦♦♦♦◄♠GRODNO♠►♦♦♦♦♦♦♦♦---------------------------------------------------------------------------------------------------------♠ 75.0°e ♣ 53.0°e ♦ 36.0°e ♥ 19.2°e ♠ 13.0°e ♥ 4.8°e ♠ 4.0°w ♣ 5.0°w ♦____________________________________________________________ Ссылка на комментарий Поделиться на другие сайты Поделиться
Рекомендуемые сообщения
Для публикации сообщений создайте учётную запись или авторизуйтесь
Вы должны быть пользователем, чтобы оставить комментарий
Создать учетную запись
Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!
Регистрация нового пользователяВойти
Уже есть аккаунт? Войти в систему.
Войти