В Яндексе разработали новые методы сжатия больших языковых моделей

[душман]

Учёные Яндекса разработали и опубликовали в свободном доступе новые методы сжатия больших языковых моделей. По мнению специалистов Yandex Research, они позволят бизнесу сократить расходы на вычислительные ресурсы до восьми раз. Разработка будет полезна корпорациям, стартапам и исследователям, которые запускают нейросети на своём оборудовании.

Чтобы большая языковая модель отвечала качественно и быстро, требуется множество дорогостоящих мощных графических процессоров. Решение Яндекса позволяет уменьшить модель в несколько раз, сократить количество необходимых процессоров и запустить её на устройствах с меньшей вычислительной мощностью. А значит внедрение нейросетей и обслуживание оборудования станет дешевле для бизнеса. 

Решение Яндекса включает в себя два инструмента. Первый позволяет получить уменьшенную до восьми раз нейросеть, которая быстрее работает и может быть запущена, например, на одном графическом процессоре вместо четырёх. Второй инструмент исправляет ошибки, которые возникают в процессе сжатия большой языковой модели.