Google Gemini научится управлять смартфоном — новая функция уже засветилась в коде

[душман]

Возможности современных моделей искусственного интеллекта неуклонно расширяются, и уже в обозримом будущем ИИ начнёт управлять мобильными устройствами. Google разрабатывает эти функции в рамках программы Project Astra, и скоро она может принести первые ощутимые плоды. В бета-версии приложения Google 17.4.66 авторы ресурса Android Authority обнаружили упоминания этой функции и её возможное название. 

Она проходит под кодовым именем bonobo, но официально именоваться будет, вероятно, «автоматизация экрана» (screen automation). Её можно будет использовать для создания заказов в интернет-магазинах и заказа такси. Встроенная ссылка пока ведёт на общую страницу поддержки Gemini, то есть пока это всего лишь заглушка.

При первом запуске функции на устройстве Android будет выводиться предупреждение с рекомендацией контролировать действия ИИ-агента на смартфонах. Пользователям посоветуют внимательно следить за тем, что делает Gemini, хотя это отчасти обесценивает новую функцию. С другой стороны, «Gemini может совершать ошибки», так что за все его действия отвечать придётся пользователю.

Google предупреждает, что при включённой функции Keep Activity скриншоты с устройства увидят «обученные модераторы». Поэтому рекомендуется не вводить в приложение конфиденциальную информацию или платёжные данные. Пока нет ясности, придётся ли для ввода такой информации вручную приостанавливать работу Gemini, или ИИ-агент будет делать это самостоятельно. 

Поскольку Gemini будет оформлять заказы для пользователей, они могут появиться в приложении; в интерфейсе переключения учётных записей Google появилась ссылка на раздел «Мои заказы», но пока она никуда не ведёт. Установить, какими именно приложениями сможет управлять Gemini, пока не удалось — предположительно, речь идёт о заказах еды, такси и товаров на торговых площадках. Тестируются также создание 3D-аватаров и возможность добавлять контекст из «Google Карт».