Новые чипы Snapdragon позволят перенести ИИ-модели на локальные устройства — разработчики софта только за

[душман]

На мероприятии Snapdragon Summit компания Qualcomm представила передовые процессоры, предназначенные как для ПК, так и для телефонов. Их отличительной особенностью являются встроенные ускорители для алгоритмов искусственного интеллекта — разработчик делает акцент на локальной работе нейросетей. Платформы Snapdragon X Elite для ПК и Snapdragon 8 Gen 3 для телефонов оборудованы мощными нейропроцессорами (NPU), при помощи которых можно локально запускать ИИ-модели Snapdragon X Elite для ПК и Snapdragon 8 Gen 3 класса Stable Diffusion. 

«Мы вступаем в эру ИИ, где генеративный ИИ на устройствах будет играть решающую роль в обеспечении мощных, быстрых, персонализированных, эффективных, безопасных и высокооптимизированных функций. Snapdragon располагает уникальными возможностями для формирования и получения преимуществ от потенциала ИИ на устройствах, и вы увидите применение генеративного ИИ практически везде, где есть Snapdragon», — заявил глава Qualcomm Криштиано Амон.

На ПК под Windows разработчик продемонстрировал локальный запуск чат-ботов с производительностью 30 токенов в секунду. На смартфонах генератор изображений на основе модели Stable Diffusion локально создаёт картинку примерно за одну секунду. Эту технологию компания демонстрировала на прототипе устройства ещё раньше — минувшей зимой. Запуск генеративных ИИ-моделей локально на устройстве, по словам Qualcomm, обеспечивает персонализацию, конфиденциальность, безопасность, экономию энергии, оперативность работы и низкую себестоимость. 

В случае со Stable Diffusion это означает одну секунду на генерацию изображения вместо минуты в облаке, а также конфиденциальность, поскольку не происходит обмена данными с внешними ресурсами. Свои платформы ИИ для чипов Qualcomm пообещали оптимизировать многочисленные партнёры компании, в том числе Baidu, Bloom, Meta, Microsoft, OpenAI, RWKV и Youdao. На рынок устройства на платформах Snapdragon X Elite и Snapdragon 8 Gen 3 выйдут в начале будущего года.