Intel, Arm и NVIDIA предложили специальный формат чисел для работы с ИИ

[душман]

Intel, Arm и NVIDIA опубликовали черновик спецификации числового формата FP8 для 8-битных чисел с плавающей точкой. По замыслу компаний этот формат должен стать единым представлением чисел, используемых при решении задач ИИ как при обучении нейросетей, так и при их эксплуатации (инференсе).

Как считают компании, применение 8-битных вещественных чисел при расчёте весовых коэффициентов в нейронных сетях позволит оптимизировать использование аппаратных вычислительных ресурсов. Такие числа занимают меньше памяти и их проще обрабатывать, что увеличит производительность аппаратных ускорителей при решении задач ИИ.

Традиционными форматами чисел с плавающей точкой, используемыми в настоящее время, являются FP32 (с одинарной точностью) и FP16 (с половинной точностью). При решении задач машинного обучения сейчас преимущественно используется второй формат. 

Однако, как считают Intel, Arm и NVIDIA, числа в ещё более короткой форме хотя и имеют более низкую точность, вполне применимы в задачах ИИ, при этом их можно обрабатывать быстрее и с меньшими затратами энергии.

Например, в своем блоге директор по маркетингу продукции NVIDIA Шар Нарасимхан отмечает, что формат FP8 демонстрирует «сопоставимую точность» с 16-битной точностью в таких областях применения, как компьютерное зрение и системы генерации изображений, обеспечивая при этом «значительное» ускорение.

Формат FP8 будет доступен всем желающим без лицензии, в открытом виде. Позднее спецификации будут представлены на рассмотрение IEEE — в отраслевую стандартизирующую организацию в ряде технических областей. 

«Мы считаем, что наличие общего формата обмена данными обеспечит быстрый прогресс и совместимость как аппаратных, так и программных платформ для развития вычислительной техники», — сказал Нарасимхан. Стоит отметить, что поддержка FP8-чисел уже реализована в архитектуре GH100 Hopper компании NVIDIA, а также в ИИ-ускорителях Gaudi2 компании Intel.