Исследователи Яндекса и студенты ШАД разработали и выложили в открытый доступ MTGBench — набор тестов для оценки способности нейросетей рассуждать при решении сложных многоэтапных задач.
В основе бенчмарка лежат игры, в которых каждый новый шаг зависит от предыдущего. Такие задания позволяют проверить, учитывает ли модель новые вводные и уже сделанные шаги. Это важно при работе с запросами, которые пользователи постепенно уточняют, добавляя информацию.
MTGBench включает семь текстовых игр по десять шагов, среди них — «Поле чудес», «Данетки», «Элиас» и Wordle. Тесты оценивают конечный ответ и количество шагов, потребовавшихся для его получения. Также проверяется, как нейросеть использует новые данные и продумывает дальнейшие действия. В четырёх играх решения проверяют алгоритмы, в остальных — ИИ-судья.
На MTGBench уже проверили 16 нейросетей, включая модели Qwen, Gemini и GPT. Тестирование показало, что эффективность режима рассуждений зависит от типа задачи. Набор тестов поможет выбирать модели под конкретные задачи — для бизнеса такой выбор может существенно влиять на расходы.
Источник: Forbes