Бенчмарк нейросетей: что это такое и как по нему выбрать модель

Коротко. Каждый анонс новой нейросети сопровождается таблицей в духе «столько-то процентов на MMLU-Pro, столько-то на SWE-bench, первое место на арене». Это бенчмарки — стандартные тесты, по которым модели сравнивают между собой. Разберём, что меряет каждый из популярных тестов, почему высокий балл ещё не значит «лучше для вас» и как за полчаса устроить собственную проверку на своих задачах.

Что такое бенчмарк

Слово пришло из инженерии: benchmark — отметка, от которой ведут измерения. В компьютерах бенчмарком называют тест производительности: Geekbench или 3DMark прогоняют одинаковую нагрузку и выдают баллы, по которым видно, какой процессор или видеокарта быстрее.

Бенчмарк нейросети устроен так же, только меряет не скорость, а качество. Это набор задач с заранее известными правильными ответами и правило подсчёта: доля верных ответов, доля решённых задач, рейтинг по голосам людей. Модель прогоняют через весь набор, результат публикуют. Раз все сдают один экзамен, баллы можно сравнивать.

Популярные бенчмарки ИИ и что они меряют

Тестов сотни, но в анонсах повторяется примерно десяток. Вот главные — с честной оценкой, насколько они полезны сейчас.

Первые семь — «экзамены» с правильными ответами. Последний устроен иначе: на LMArena человек задаёт вопрос, получает ответы двух анонимных моделей и выбирает лучший. Из миллионов таких голосов складывается рейтинг, как в шахматах.

Почему баллам нельзя верить слепо

• Насыщение. Когда лучшие модели набирают на тесте около 90%, разница в пару пунктов — уже шум и ошибки в самих вопросах. Поэтому MMLU уступил место MMLU-Pro и Humanity's Last Exam.
• Утечка в обучение. Вопросы популярных тестов лежат в интернете и могут попасть в обучающие данные. Тогда модель не решает, а вспоминает. Новые бенчмарки стараются держать часть задач закрытой или регулярно обновлять.
• Разные условия. Один разработчик даёт модели одну попытку, другой — лучшую из нескольких, третий разрешает инструменты и долгие рассуждения. Цифры из разных анонсов напрямую сравнивать нельзя — смотрите сноски мелким шрифтом.
• Выгодный выбор. В анонс попадают тесты, где модель выиграла. Отсутствие привычного бенчмарка в таблице — тоже информация.
• Английский язык. Почти все тесты англоязычные. Грамотность на русском, знание наших законов и реалий они не проверяют. Русскоязычные наборы вроде MERA существуют, но в западных анонсах их не публикуют.
• Вкус ≠ точность. На арене людям нравятся длинные, хорошо оформленные ответы — даже если в них ошибка.

Как выбрать модель по бенчмаркам

Сначала определите задачу, потом найдите тест, который на неё похож:

• Код — SWE-bench Verified: там модель правит настоящий проект, и проверяют её тесты, а не человек. Подробнее о выборе — в статье ИИ для кода.
• Математика и расчёты — AIME и похожие олимпиадные наборы.
• Сложные вопросы по науке — GPQA Diamond и Humanity's Last Exam.
• Тексты, переписка, общение — рейтинг арены, желательно по категории нужного языка.
• Разбор скриншотов и графиков — MMMU.

Затем отсейте модели, которые не подходят по цене и скорости: рассуждающая модель с рекордом на AIME может думать минуту там, где быстрая ответит за секунду. Готовые сравнения по задачам мы собрали в обзоре лучших нейросетей и в разборе DeepSeek или ChatGPT.

Свой мини-бенчмарк за полчаса

Самый надёжный тест — ваши собственные задачи. Чужой бенчмарк отвечает на вопрос «кто умнее в среднем», свой — «кто лучше сделает мою работу».

1. Соберите 10–20 реальных задач: письма, которые вы пишете, куски кода, документы, которые разбираете. Добавьте пару каверзных — где люди тоже ошибаются.
2. Для каждой запишите эталон или критерии: «найдены все три ошибки», «уложился в 500 знаков», «нет выдуманных фактов».
3. Задайте один и тот же промпт каждой модели, в новом чате, без подсказок.
4. Оценивайте вслепую. Скопируйте ответы в документ без названий моделей — так вы не подыграете любимой.
5. Повторите спорные задачи 2–3 раза: нейросети отвечают по-разному, одна удача ничего не значит.
6. Посчитайте цену и время рядом с качеством.

Удобнее всего делать это там, где все модели под рукой. В Умке можно задать вопрос в ChatGPT, затем переключиться на Claude или Gemini и сравнить ответы в одном окне. Ответ сильной модели стоит в среднем 33 токена, быстрой — 1 токен. Значит, 10 задач для двух сильных моделей — это 20 ответов и около 660 токенов: столько входит в минимальный пакет 725 токенов за 290 ₽. Прогон тех же задач на быстрых моделях почти ничего не стоит, а при регистрации дают 60 токенов в подарок без карты. Подписки нет.

Вывод

Бенчмарк — полезный фильтр, но не приговор. Он помогает быстро отсеять слабые модели и понять, кто силён в коде, а кто в математике. Окончательный выбор делайте на своих задачах: 10–20 реальных примеров со слепой оценкой скажут больше, чем любая таблица из анонса. Про ведущие проекты вроде SWE-bench полезно знать, но работать в итоге вам, а не тестам.

Частые вопросы