Китайская нейросеть WuDao 2.0 с 1,75 трлн параметров превосходит аналоги от Google и OpenAI

[душман]

Китайские учёные из Пекинской академии искусственного интеллекта (BAAI) вместе с десятками коллег из других организаций создали самую сложную в мире модель обработки естественного языка (NLP), которая превосходит аналоги от Google и OpenAI. Генеративная нейронная сеть глубокого обучения WuDao 2.0 создана в рамках стремления Китая повысить свою технологическую конкурентоспособность на мировой арене.

WuDao 2.0 представляет собой предварительно обученную ИИ-модель, которая использует 1,75 трлн параметров. Для сравнения, модель GPT-3 от OpenAI использует 175 млрд параметров, а представленная в январе Google Switch Transformer — 1,6 млрд параметров. Параметры — это переменные, определяемые моделями машинного обучения. По мере развития модели параметры уточняются, их количество возрастает, за счёт чего повышается точность работы алгоритма и его производительность.

Разработчики показали, как WuDao 2.0 использует свои возможности для имитации речи, написания стихов, распознавания изображений и генерации текста. Согласно имеющимся данным, WuDao 2.0 обучалась на английском и китайском языках, для чего исследователи использовали 4,9 Тбайт изображений и текстов, включая 1,2 Тбайт текстов на английском и китайском языках.

«Эти сложные модели, обученные на гигантских наборах данных, требуют лишь небольшого количества новой информации для освоения конкретной функции, потому что они могут использовать уже полученные знания для выполнения новых задач», — сказал один из учёных BAAI Блейк Ян.