NVIDIA представила Grace — собственный ARM-процессор для суперкомпьютерных ИИ-вычислений

[Ippolitovich]

Компания NVIDIA представила свой первый процессор, предназначающийся для использования в составе дата-центров. Новинка получила название Grace в честь американской учёной и пионера компьютерного программирования Грейс Хоппер (Grace Hopper). Чип основан на архитектуре ARM и способен обеспечить производительность до 10 раз превышающую возможности актуальных самых быстрых серверов, рассчитанных на решение самых сложных задач с ИИ-вычислениями.

 

В составе Grace используются энергоэффективные ядра ARM (скорее всего с архитектурой ARMv9) и инновационные технологии энергоэффективной подсистемы памяти LPDDR5x. Последняя обеспечивает в два раза более высокую пропускную способность и в 10 раз более высокий уровень энергоэффективности по сравнению с памятью DDR4. Новая архитектура Grace обеспечивает унифицированную согласованность кеша с единым адресным пространством памяти, объединяя системную память и память HBM графического процессора для упрощения программирования.

 

 

В составе систем на базе процессоров Grace будет применяется четвёртое поколение шины NVIDIA NVLink, которая обеспечит между процессором Grace и графическими ускорителями NVIDIA рекордную пропускную способностью на уровне 900 Гбайт/с. Таким образом совокупный уровень пропускной способности подобных систем будет в 30 раз выше, чем у текущих самых передовых серверов. По словам NVIDIA, система на базе Grace сможет обучать NLP-модели с одним триллионом параметров в 10 раз быстрее, чем текущие самые передовые системы на базе NVIDIA DGX, работающие с x86-совместимыми процессорами.

 

 

Швейцарский национальный суперкомпьютерный центр (CSCS) и Лос-Аламосская национальная лаборатория США станут первыми организациями, которые построят новые суперкомпьютеры на базе процессоров NVIDIA Grace. Первая заявила о планах по созданию нового суперкомпьютера Alps. Его эксплуатация начнётся в 2023 году. Система будет построена компанией HPE на основе серии систем Cray EX, в составе которой будут применяться комплексная платформа для задач ИИ NVIDIA HGX, инструменты для разработки программного обеспечения для высокопроизводительных вычислений HPC SDK и новый процессор NVIDIA Grace. По оценкам специалистов, суперкомпьютер Alps на базе новых процессоров Grace и графических ускорителей NVIDIA сможет обучить GPT-3 — самую крупную и продвинутую языковую модель в мире — всего за два дня, что 7 раз быстрее возможностей суперкомпьютера Selene, обеспечивающего производительность ИИ-вычислений на уровне 2,8 эксафлопса.