Сбер представил версию нейросети GPT-3, способную генерировать тексты на 61 языке мира

[душман]

SberDevices представила многоязычную версию нейросети GPT-3: модель под названием mGPT может генерировать тексты на 61 языке мира, включая языки народов России и стран СНГ. mGPT — это первая в мире генеративная модель, которая поддерживает такое количество языков. Она доступна в двух версиях: базовой, с 1,3 миллиарда параметров, опубликованной в открытом доступе в облачном хранилище СберДиск, и расширенной, с 13 миллиардами параметров, которая скоро станет доступна на платформе машинного обучения ML Space от SberCloud.

Модель mGPT может использоваться как просто для генерации текста, так и для решения различных задач в области обработки естественного языка на одном из поддерживаемых языков путём дообучения или в составе ансамблей моделей. Модель показывает выдающиеся результаты на многих задачах few-shot и zero-shot learning: в этой области машинного обучения не требуется отдельно доучивать модель, достаточно сформулировать задачу текстом и привести несколько примеров, после чего mGPT научится выполнять новую задачу. 

Это может использоваться для того, чтобы научить автоматизированную систему отвечать на вопросы, определять эмоциональную окраску текста, извлекать из текста имена, фамилии, названия компаний и т. п. Модель может также использоваться как компонент различных речевых технологий — например, для улучшения качества распознавания речи, генерации сценариев диалоговых систем и т. д.