Apple заинтересовалась технологией PrismML для запуска больших ИИ-моделей прямо на смартфоне

[душман]

Apple ведёт переговоры со стартапом PrismML по поводу возможного использования его технологии, позволяющий значительно уменьшить размеры большой языковой модели без ущерба для её функциональности и интеллектуальных возможностей. Это позволит использовать мощные ИИ-модели на смартфонах iPhone без подключения к облаку, сообщил ресурс The Information со ссылкой на свои источники.

Переговоры компаний начались после того, как PrismML добился значительного технологического прорыва, успешно сжав открытую ИИ-модель Qwen 3.6 от Alibaba с 27 млрд параметров для локального запуска на iPhone 17 Pro. Для размещения модели с такими параметрами на смартфоне требуется использование «разрежённой архитектуры» — то есть устройство активирует лишь часть «мозга» ИИ в любой момент времени, чтобы предотвратить перегрев. 

PrismML, как сообщается, полностью изменил этот подход. Стартап PrismML, всё ещё находящийся в скрытом режиме (stealth), был создан на базе подразделения Калифорнийского технологического института (Caltech). Его решение построено на сверхплотных 1-битных и троичных архитектурах (снижает объём используемой памяти до 14 раз, при этом работая до 8 раз быстрее). 

С помощью технологии PrismML можно сократить занимаемый ИИ-моделью объём в памяти с 54 до мене чем 4 Гбайт. При этом все 27 млрд параметров остаются активными одновременно, без ущерба для производительности в бенчмарках. Для Apple использование локального ИИ означает полную конфиденциальность пользователя, мгновенное время отклика и полную независимость от сотовой связи. К тому же компании не придётся оплачивать астрономические счета за использование вычислительных мощностей ЦОД.