ИИ-модель DeepSeek R1 заработала на суверенных китайских ускорителях Sophgo

[душман]

Высокий спрос на ускорители вычислений Nvidia и других популярных марок сам по себе ограничивает их доступность, а в случае с китайскими разработчиками систем ИИ всё усугубляется американскими санкциями. Нет ничего удивительного, что в сложившихся условиях они предпочли опираться на ускорители местного происхождения, для DeepSeek в этом смысле подошли ускорители Sophgo.

По крайней мере, об их успешном применении докладывает South China Morning Post со ссылкой на заявления Sophgo. Ускорители SC11 FP300 этой компании, по данным китайской лаборатории CTTL, продемонстрировали высокое быстродействие и стабильную работу в задачах, связанных с формированием логических выводов (инференсе) при использовании большой языковой модели DeepSeek R1. 

Подобные задачи требуют меньших вычислительных ресурсов по сравнению с этапом обучения больших языковых моделей. Ускоритель FP300 был выпущен Sophgo в прошлом году, он оснащается 256 Гбайт высокоскоростной памяти, обеспечивающей пропускную способность до 1,1 Тбайт/с, технически он пригоден и для обучения больших языковых моделей. В то же время, данное аппаратное решение всё же в большей мере заточено под работу с рассуждающими моделями.