«Яндекс» разработает оркестратор для ИИ-моделей

[душман]

«Яндекс» ведёт разработку системы оркестратора моделей искусственного интеллекта, которая обеспечит умное распределение задач между нейросетями, чтобы при минимальной стоимости качество работы ИИ было максимальным, сообщили в компании. За рубежом такие решения уже существуют, и они популярны, говорят эксперты. Инженеры «Яндекса» подготовят единую систему, которая объединит оркестратор из собственных моделей компании и открытых нейросетей — эта система будет лежать в основе «Алисы AI», рассказал руководитель направления «Алисы» и умных устройств «Яндекса» Валерий Стромов. Первая версия оркестратора уже существует, и ей пользуются внутри «Яндекса».

В сентябре должна выйти общедоступная сборка. «Наша стратегическая задача сейчас — уйти от парадигмы одной модели к нескольким, часть из которых будут опенсорсными, создать систему умного распределения задач, чтобы максимальное качество достигалось по минимальной стоимости, и создать обвязку, harness (программную оболочку), которая даст модели „руки“ в физическом мире — чтобы „Алиса“ могла использовать разные сервисы, создавать память о пользователе или бизнесе, запускать код и другое. Мы хотим стать пионерами этого подхода в России», — пояснил Стромов. Когда число ИИ-моделей становится большим, оркестратор начинает испытывать затруднения, и качество его работы снижается. 

«В первой версии мы будем жить с тремя–пятью моделями-экспертами. Среди всего потока задач львиная доля — думаю, это будет всегда в районе 80–90%, — будет работать на нашей модели, а узкоспециализированные вещи будут отправляться в опенсорсные модели в нашей обвязке. Это фактически позволит нам переигрывать таких игроков, как Google, у которых пока одна модель, и им нужно делать так, чтобы она была умна везде — а это заметно больше ресурсов», — добавил он. «Яндекс» разрабатывает систему не из желания следовать трендам, а в связи с инженерной необходимостью: инференс, то есть запуск уже обученных моделей, обходится недёшево, поэтому «хочется дать пользователю и бизнесу максимум пользы за минимум ресурсов». 

В минувшем году «Яндекс» вложил в «Алису AI» 55 млрд рублей, и в этом году показатель останется тем же, но на фоне мировых гигантов это очень маленькая сумма, признал Валерий Стромов. Потребительские качества ИИ часто связаны не с миллиардами параметров у моделей, а с их практическим применением, доступностью интерфейса — маршрутизация помогает обходить ограничения и обеспечивать высокую скорость работы моделей, говорят эксперты. При наличии оркестратора потребность обращаться к самым мощным нейросетям возникает не всегда, а модели становятся взаимозаменяемым ресурсом. Наконец, решается задача о хранении контекста — хранить его в моделях иногда слишком расточительно.