МТС потратила 1 миллиард рублей на дообучение ИИ — OpenAI тратит на ИИ на несколько порядков больше

[душман]

По итогам 2024 года расходы подразделения МТС MWS AI на обучение больших языковых моделей семейства Cotype составили 1 млрд рублей, пишут «Ведомости» со ссылкой на заявление гендиректора компании Дениса Филиппова. Вместо создания собственных моделей с нуля МТС занимается дообучением существующих. Семейство вышедших в 2024 году моделей Cotype первого поколения было основано на французской открытой модели Mistral.

В 2025 году вышли Cotype второго поколения, основанные уже на Alibaba Cloud Qwen 2.5. В ассортименте МТС значится также базирующийся на нескольких моделях помощник Kodify для написания программного кода. Создание собственной большой языковой модели с нуля обошлось бы МТС в сумму от 10 млрд руб., рассуждают опрошенные «Ведомостями» эксперты, — такие проекты есть у «Яндекса» и «Сбера», но они объёмов своих вложений не раскрывают. 

У «Яндекса», гласит официальная информация, на конец 2021 года были три суперкомпьютера, на которых установлены в общей сложности 3500 ИИ-ускорителей Nvidia А100. У «Яндекса» и «Сбера» могут быть около 10 000 единиц такого оборудования, полагают эксперты. Дообучение готовых больших языковых моделей — задача также дорогостоящая: 100 млн руб. требуются на аренду оборудования, и ещё в 400–500 млн руб. обходятся прочие расходы, включая команду от 30 до 50 специалистов. 

Поэтому расходы в 1 млрд руб. (примерно $12 млн) представляются адекватной суммой, учитывая масштабы задачи. Но зарубежные лидеры отрасли тратят на обучение ИИ значительно больше денег.OpenAI потратила на создание и оптимизацию GPT-4 около $10–15 млрд. С другой стороны, DeepSeek утверждает, что её расходы на обучение не уступающей американской модели составили всего $6 млн, но этот тезис экспертам до сих пор представляется спорным.