Симулятор маркетплейса Microsoft выявил уязвимости даже самых продвинутых ИИ-агентов

[душман]

Команда исследователей из Microsoft Research совместно с учёными из Университета штата Аризона (Arizona State University) создала симулятор торговой площадки для тестирования поведения автономных ИИ-агентов. Первые эксперименты, как стало известно изданию TechCrunch, выявили неожиданные уязвимости: агенты оказались склонны к манипуляциям и теряли эффективность при большом количестве вариантов выбора.

Симулятор под названием Magentic Marketplace предназначен для изучения поведения автономных ИИ-агентов в условиях рыночного взаимодействия. В типичном сценарии эксперимента агент-покупатель должен был выполнить заказ ужина в соответствии с инструкциями пользователя, в то время как агенты, представляющие различные рестораны, соревновались между собой за получение этого заказа.

В ходе экспериментов, в которых участвовали 100 клиентских агентов и 300 агентов-представителей бизнеса и использовались ведущие ИИ-модели, включая GPT-4o, GPT-5 и Gemini-2.5-Flash, было обнаружено, что бизнес-агенты могут успешно манипулировать поведением клиентских агентов, побуждая их делать покупки в пользу определённых предложений. Особенно заметным оказался эффект перегрузки.

Когда при увеличении количества доступных вариантов клиентские агенты теряли эффективность, поскольку их пространственный модуль внимания (attention space) оказывался переполненным. Эче Камар, управляющий директор лаборатории AI Frontiers Lab в Microsoft Research, пояснила, что хотя ИИ-агенты и должны были помогать пользователям обрабатывать большое количество опций, на практике текущие модели справляются с этим пока плохо. 

Кроме того, при попытках совместной работы над общей целью агенты не могли самостоятельно определить, кто из них должен выполнять какую роль. Эффективность взаимодействия возрастала лишь тогда, когда им давали чёткие пошаговые инструкции, однако исследователи считают, что базовые способности к кооперации должны быть встроены в такие модели по умолчанию.