«Яндекс» открыл для всех библиотеку YaFSDP

[душман]

Она значительно ускоряет обучение больших языковых моделей — как собственной разработки, так и сторонних, с открытым исходным кодом, сообщили в пресс-службе компании.Отмечается, что библиотека дает ускорение до 25% — результат зависит от архитектуры и параметров нейросети. С помощью YaFSDP также можно расходовать до 20% меньше ресурсов графических процессоров (GPU), которые требуются для обучения. 

Теперь YaFSDP могут бесплатно использовать компании, разработчики и исследователи по всему миру.Библиотека «Яндекса» рассчитана в первую очередь на большие языковые модели, хотя она подходит и для других нейросетей — например, таких, которые генерируют изображения. YaFSDP позволяет сократить расходы на оборудование для обучения моделей — это особенно важно для стартапов и, к примеру, научных проектов.

«Яндекс» разработал YaFSDP в процессе обучения своей генеративной модели нового поколения YandexGPT 3. Компания уже протестировала библиотеку на сторонних нейросетях с открытым исходным кодом. Например, если бы YaFSDP использовалась применительно к модели LLaMA 2, этап предварительного обучения на 1024 графических процессорах сократился бы с 66 до 53 дней.