VK обновила и выложила в открытый доступ нейросеть для обработки разговорного русского языка

[душман]

VK выложила в открытый доступ модель RuModernBERT для обработки естественного русского языка. Она понимает длинные тексты целиком, без разбиения на фрагменты и работает локально, без внешних API, что снижает нагрузку на инфраструктуру. 

Инженеры могут использовать ее для задач в области обработки текста, в том числе для извлечения информации, анализа тональности, поиска и ранжирования в приложениях и сервисах. Модель может понять сложный или длинный запрос пользователя, например, в поисковой строке и найдет наиболее релевантную информацию, видео, товары или документы. Об этом сообщили представители VK.

RuModernBERT была обучена на 2 трлн токенов данных на русском, английском языках и коде с максимальной длиной контекста до 8,192 токенов. Для всех этапов обучения были использованы разные источники данных, в том числе книги, статьи, посты и комментарии в социальных сетях, что позволяет адаптировать ее для работы с современным текстом и учитывать разговорную речь.