Как я измерял точность ИИ-проверки ЕГЭ: семь случаев самообмана

В первой части я рассказал, как устроена проверка второй части ЕГЭ по обществознанию в моём боте: модель размечает ответ, код считает балл. Теперь — насколько это точно работает и сколько раз я обманывал себя метриками.

Как я измерял точность ИИ-проверки ЕГЭ: семь случаев самообмана
Как я измерял точность ИИ-проверки ЕГЭ: семь случаев самообмана

Главное

  • Точность совпадения с экспертом выросла с 50% до 71,5% за полгода
  • Доля завышений снизилась с 33,6% до 9,4%
  • MAE уменьшился с 0,761 до 0,379
  • Семь случаев самообмана — типичные ловушки метрик
  • Метрики считаются в кейсах, а не в баллах

В первой части я рассказал, как устроена проверка второй части ЕГЭ по обществознанию в моём боте: модель размечает ответ, код считает балл. Теперь — насколько это точно работает и сколько раз я обманывал себя метриками. Насчитал семь случаев.

Сначала итог. В апреле 2026 года бот ставил тот же балл, что эксперт, в 50% ответов и завышал балл каждому третьему. В ноябре совпадает в 71,5% и завышает в 9,4%. Между этими цифрами полгода, четыре модели и семь случаев, когда число в отчёте означало не то, что я думал. Ни один из этих случаев не связан с обществознанием — их можно повторить в любом проекте, где языковая модель что-то оценивает, а вы пытаетесь понять, хорошо ли она это делает.

Эталон — балл эксперта по критериям ФИПИ. Каждый кейс лежит в репозитории отдельным JSON-файлом: условие, ответ ученика, ожидаемый балл, допуск, категории ошибок. В наборе 433 кейса по заданиям 17–25. У 40 из них нет надёжного эталона, раннер их пропускает, поэтому оценивается 393. Источников три: 343 реальные экзаменационные работы с эталонным баллом (рукописные сканы, пропущенные через распознавание, со всеми его артефактами), 33 синтетических кейса, написанных под конкретные правила (пример про «государство Z» там, где требуется Россия, отказ отвечать, ответ не по теме), и 17 работ, которые я переразметил сам, плюс проверки из режима учителя.

Для каждого кейса считается одна разность: delta = got_score - expected_score. Направление: overscore, если delta > 0, underscore, если delta < 0, иначе exact. Доля завышений — это число кейсов с direction == "overscore", делённое на общее число. Доля считается в кейсах, а не в баллах: ошибка на +1 и на +4 весят одинаково. Размер ошибки показывает MAE — среднее абсолютное значение delta. Главный показатель — доля завышений: заниженный балл ученик заметит и придёт спорить, а завышенный примет с удовольствием и узнает правду на экзамене.

Полные замеры по порядку: 22.04 — YandexGPT, 268 кейсов, точное совпадение 50,0%, завышения 33,6%, MAE 0,761. 20.05 — YandexGPT, 268, 56,0%, 18,3%, 25,7% занижений, MAE 0,649. 23.07 — YandexGPT, 258, 57,0%, 26,4%, MAE 0,593. 26.07 — Claude Sonnet 5, 226, 58,8%, 25,7%, MAE 0,549. 05.08 — Claude Sonnet 4.6, 376, 65,7%, 15,7%, 18,6% занижений, MAE 0,431. 05.08 — то же + ключи ФИПИ, 376, 70,7%, 14,1%, 15,2%, MAE 0,367. 09.10 — Claude Sonnet 4.6, 396, 74,2%, 11,4%, 14,4%, MAE 0,348. 03.11 — Claude Sonnet 5.5, 393, 71,5%, 9,4%, 19,1% занижений, MAE 0,379.

Каждый из семи случаев самообмана — это отдельная история о том, как метрика может врать: от нерепрезентативной выборки до неправильной агрегации. Разбор этих ошибок поможет избежать их в собственных проектах.