«Сбер» выложил в открытый доступ русскоязычную ИИ-модель ruGPT-3.5

[душман]

Команда СберБанка открыл доступ к нейросетевой модели генерации текста для русского языка ruGPT-3.5 13B. Её дообученная версия лежит в основе сервиса GigaChat. Также банк выложил новую версию модели mGPT 13B — самую большую из семейства многоязычных моделей Сбера, способную генерировать тексты на 61 языке. 

Обе модели доступны на платформе HuggingFace, и их могут использовать все разработчики, модели опубликованы под открытой лицензией MIT. Russian Generative Pretrained Transformer версии 3.5 (ruGPT-3.5 13B) — новая версия нейросети ruGPT-3 13B. Это современная модель генерации текста для русского языка на основе доработанной исследователями Сбера архитектуры GPT-3 от OpenAI. 

Модель ruGPT-3.5 13B содержит 13 млрд параметров и умеет продолжать тексты на русском и английском языках, а также на языках программирования. Длина контекста модели составляет 2048 токенов. Она обучена на текстовом корпусе размером около 1 ТБ, в который, помимо уже использованной для обучения ruGPT-3 большой коллекции текстовых данных из открытых источников, вошли, например, часть открытого сета с кодом The Stack от коллаборации исследователей BigCode и корпусы новостных текстов. 

Также в открытом доступе опубликована многоязычная модель mGPT 13B. Версия mGPT 13B содержит 13 млрд параметров и способна продолжать тексты на 61 языке, включая языки стран СНГ и малых народов России. Длина контекста модели составляет 512 токенов. Она была обучена на 600 ГБ текстов на разных языках, собранных из очищенных и подготовленных датасетов multilingual C4 и других открытых источников.