Яндекс выпустил тест на логическое мышление нейросетей

[душман]

Команды Яндекс и ШАД (Школы анализа данных) открыли доступ к MTGBench — бенчмарку для оценки способности нейросетей решать сложные задачи с помощью последовательных рассуждений. Инструмент опубликован на GitHub, а научную статью о нём приняли на конференцию EMNLP 2026.

В основу MTGBench легли семь текстовых игр, включая «Поле чудес», «Данетки», «Элиас» и Wordle. Они позволяют проверить, насколько хорошо модели учитывают новые вводные, используют предыдущие ответы, планируют дальнейшие действия и избегают противоречий. Оценка учитывает не только правильность результата, но и количество шагов, необходимых для его получения. Все задания представлены на русском и английском языках.

Разработчики протестировали 16 нейросетей, в том числе модели Qwen, Gemini и GPT. Эксперименты показали, что режим рассуждений особенно полезен в задачах с буквами, символами и подсказками. В испытаниях на извлечение знаний и понимание смысла прирост оказался менее выраженным и зависел от модели. Успех в одной игре также не гарантировал высоких результатов в других.

Кроме того, нейросети хуже справлялись с заданиями на русском языке, чем на английском. При сравнении с людьми сильнейшие модели с включённым режимом рассуждений получили более высокие средние баллы во всех семи играх. Бенчмарк предназначен для разработчиков и исследователей, которым необходимо сравнивать модели и выбирать подходящие решения для конкретных задач.