«Яндекс» представил YaLM 100B — самую большую открытую нейросеть для генерации текстов

[душман]

Компания «Яндекс» анонсировала нейросеть YaLM 100B, предназначенную для генерации и обработки текстов на русском и английском языках. Утверждается, что на сегодняшний день это самая большая в мире GPT-подобная (Generative Pre-trained Transformer) модель, опубликованная в свободном доступе.

YaLM 100В содержит 100 млрд параметров — больше, чем какая-либо из существующих моделей для русского языка. Благодаря этому нейросеть можно применять для решения широкого круга задач, связанных с обработкой естественного языка.

Языковые модели семейства YaLM определяют принцип построения текстов и генерируют новые, опираясь на законы лингвистики и свои знания о мире. Допускается формирование текстов любого типа: это могут быть ответы, стихи, поздравления и прочее. Более того, алгоритмы способны придумывать идеи для рекламных кампаний, создавать описания товаров и видео, а также классифицировать тексты.

В процессе обучения сети были задействованы суперкомпьютеры «Яндекса», признанные самыми мощными в Восточной Европе. YaLM 100B обработала около 2 Тбайт текстов из открытых источников и интернета на английском и русском языках. Теперь нейросеть могут использовать разработчики и исследователи со всего мира. Модель предоставляется по открытой лицензии Apache 2.0 и доступна на GitHub.