AMD показала, как запустить думающую ИИ-модель DeepSeek R1 на обычном ПК

[Ippolitovich]

Компания AMD опубликовала инструкции по локальному запуску продвинутой ИИ-модели DeepSeek R1 со способностью к размышлению на пользовательских ПК. Правда, необходима система на процессоре Ryzen с ИИ-ускорителем (NPU) XDNA, либо компьютер с настольной видеокартой Radeon RX 7000. Также для запуска требуется драйвер Adrenalin 25.1.1. Как утверждается, только недавно была представлена «высокоэффективная» малая версия ИИ-модели DeepSeek R1, достаточно компактная для работы на потребительском оборудовании. Стоит отметить, что в целом модели DeepSeek отличаются небольшими запросами к железу — например, модель DeepSeek-V3 изначально обучалась на кластере всего из 2048 ускорителей Nvidia H800. В инструкции AMD описывается всё, что нужно для локального запуска DeepSeek R1 на пользовательской системе на базе аппаратного обеспечения AMD. В LM Studio есть установщик больших языковых моделей в один клик, специально разработанный для процессоров Ryzen AI. Его же пользователи AMD могут использовать для установки R1. В ролике компания также показывает, как приложение должно быть настроено для конкретного оборудования, а также объясняет, какое максимальное количество параметров LLM поддерживается тем или иным оборудованием.

 

 

Последнее в значительной степени зависит от объёма доступной памяти. Например, видеокарты Radeon RX 7600 XT, RX 7700 XT, RX 7800 XT, RX 7900 GRE и RX 7900 XT поддерживают модели до DeepSeek-R1-Distill-Qwen-14B с 14 млрд параметров. Флагманская карта Radeon RX 7900 XTX позволяет запускать модели до DeepSeek-R1-Distill-Qwen-32B с 32 млрд параметров. А модель Radeon RX 7600, имеющая на борту всего 8 Гбайт памяти, поддерживает запуск моделей до DeepSeek-R1-Distill-Llama-8B с 8 млрд параметров. Ноутбуки на базе процессоров Ryzen 8040 и Ryzen 7040 с 32 Гбайт ОЗУ, а также системы на базе процессоров Ryzen AI 9 HX 370 и Ryzen AI 9 365, оснащённые 24 или 32 Гбайт оперативной памяти, могут запускать модели до DeepSeek-R1-Distill-Llama-14B. Ноутбуки на базе Ryzen AI Max+ 395 поддерживают модели до DeepSeek-R1-Distill-Llama-70B с 70 млрд параметров, но только при наличии 64 или 128 Гбайт ОЗУ. Версии лэптопов с 32 Гбайт памяти могут запускать модели до DeepSeek-R1-Distill-Qwen-32B с 32 млрд параметров.

 

Новая модель искусственного интеллекта DeepSeek R1 в одночасье покорила мир, поскольку затраты на её обучение оказались в 11 раз ниже, чем у передовых ИИ-моделей конкурентов. Два дня назад она стала причиной рекордной потери рыночной капитализации Nvidia в размере 589 миллиардов долларов. Модель DeepSeek R1 полагается на экстремальные уровни оптимизации, чтобы обеспечить 11-кратный рост эффективности. DeepSeek R1 работает не только на ускорителях Nvidia и AMD, но также сообщается о поддержке ускорителей Huawei Ascend.