Meta выпустила открытую ИИ-модель Llama 3.2 — она работает с текстом и изображениями

[душман]

Всего через два месяца после выпуска большой языковой модели Llama 3.1 компания Meta представила её обновлённую версию Llama 3.2 — первую открытую систему искусственного интеллекта, которая может обрабатывать как изображения, так и текст.

Meta Llama 3.2 позволяет разработчикам создавать передовые приложения с ИИ: платформы дополненной реальности с распознаванием видео в реальном времени; визуальные поисковые системы с сортировкой изображений на основе содержимого; а также системы анализа документов с подготовкой сводок по длинным фрагментам текста. 

Запустить новую модель разработчикам будет довольно просто, говорят в Meta — потребуется добавить поддержку мультимодальности, «иметь возможность показывать Llama изображения и заставить её общаться». OpenAI и Google запустили собственные мультимодальные модели ИИ ещё в прошлом году, поэтому Meta сейчас оказалась в положении догоняющей. 

Поддержка работы с изображениями играет важную роль — Meta продолжает наращивать возможности ИИ на устройствах, включая очки Ray-Ban Meta. Пакет Llama 3.2 включает две модели, поддерживающие работу с изображением (с 11 и 90 млрд параметров) и две облегчённые текстовые модели (с 1 и 3 млрд параметров). 

Меньшие предназначены для работы на чипах Qualcomm, MediaTek и других Arm-процессорах — Meta явно рассчитывает, что они будут применяться на мобильных устройствах. При этом выпущенная в июле Llama 3.1 по-прежнему является сильным предложением — одна из версий имеет 405 млрд параметров, и в генерации текста она должна превосходить более новые.