Huawei придумала программный «заменитель» санкционной памяти HBM для ускорения ИИ

[душман]

Китайские разработчики систем искусственного интеллекта, ограниченные из-за санкций США в своём доступе к современным вычислительным ресурсам, пытаются компенсировать возможное отставание разными методами. Huawei предложила программный инструмент с открытым исходным кодом, который призван компенсировать отсутствие доступа к ускорителям с памятью типа HBM для китайских разработчиков.

Программный инструмент, предложенный Huawei, получил название Unified Cache Manager (UCM), его предназначение заключается в оптимизации доступа к данным в соответствии с заранее определённой иерархией типов памяти. Работа с информацией, хранящейся в HBM, DRAM и на SSD, может быть ускорена при помощи этого инструмента в системах ИИ, ориентированных на формирование логических выводов (инференс).

В специализированных тестах UCM уже подтвердил свою эффективность, сократив задержки при обращении к памяти на величину до 90 % и увеличив пропускную способность системы в 22 раза в наиболее заметном случае. Доступ к UCM со следующего месяца получат разработчики, сотрудничающие с Huawei, а затем инструмент попадёт в руки более широкого круга китайских создателей систем ИИ. 

Это должно позволить снизить зависимость китайской ИИ-отрасли от микросхем памяти типа HBM, которые производятся южнокорейскими SK hynix и Samsung, а также американской Micron Technology. Поставки этой памяти в Китай запрещены американскими санкциями, а китайские производители только подбираются к моменту начала её выпуска — причём в не самом скоростном поколении.