Microsoft представила малую языковую модель Phi-3-Silica для компьютеров Copilot Plus PC

[душман]

Вслед за презентацией компактной ИИ-модели Phi-3-vision, компания Microsoft представила на ежегодной конференции Microsoft Build 2024 ещё одну малую языковую модель (SLM) Phi-3-Silica, которая будет использоваться на компьютерах класса Copilot Plus PC. Эти ПК оснащены чипами со встроенным нейронным сопроцессором (NPU), обеспечивающим локальную работу функций на основе ИИ.

Это самая маленькая из всех моделей семейства Phi-3, обладающая 3,3 млрд параметров. Семейство Phi-3 также включает модель Phi-3-mini с 3,8 млрд параметров, Phi-3-vision (4,2 млрд параметров), Phi-3-small (7 млрд параметров) и Phi-3-medium (14 млрд параметров). Как ожидается, первые ноутбуки под брендом Copilot Plus PC со встроенной Phi-3-Silica поступят в продажу в июне этого года. 

По данным Microsoft, показатель Time to first token (TTFT) у Phi-3-Silica составляет 650 токенов в секунду, а при работе модель потребляет около 1,5 Вт, освобождая мощности процессора и графического ускорителя ПК для обработки других вычислений. При генерации токенов модель повторно использует кеш-память KV NPU, сама генерация осуществляется на ЦП со скоростью примерно 27 токенов в секунду.«Модели Phi-3 значительно превосходят языковые модели того же и большего размера по ключевым показателям. Phi-3-mini работает лучше, чем модели вдвое большего размера, а Phi-3-small и Phi-3-medium превосходят гораздо более крупные модели, включая GPT-3.5T», — отметила Microsoft.