Ошибка в метриках может скрыть плохую работу ИИ
Высокая точность нейросети в отчётах не всегда означает качественную проверку. Ошибки в настройках и подмена понятий могут превратить пустые совпадения в ложные показатели успеха.
Разработчик ИИ-бота для проверки экзаменационных работ по обществознанию столкнулся с тем, что цифры в отчётах не отражали реальность. В апреле 2026 года точность совпадений с экспертом составляла 50%, а в ноябре этот показатель вырос до 71,5%.
Проблема заключалась в том, что метрики часто измеряли не качество работы модели, а технические ошибки или специфику набора данных. Например, в одном случае скрипт замера использовал не ту модель, которая работала в реальном продукте. На заданиях с 19 по 23 разница в точности из-за этого достигала 19 процентных пунктов.
Другой вид самообмана, когда за совпадение принимают технические сбои. Если при ошибке разбора текста код молча ставил ноль баллов, это могло маскировать реальные завышения. В одном из тестов восемь таких «тихих нулей» скрывали ошибки модели, которые в случае исправления сразу бы проявились.
Высокая точность также может быть иллюзией, если в наборе данных почти нет сложных случаев. Если эксперт в 29 кейсах из 30 ставит максимальный балл, то любая заглушка, просто выдающая максимум, покажет точность 96,7%. Это не проверка знаний, а простое совпадение с константой.
Для тех, кто внедряет ИИ в проверку работ или оценку данных, это значит, что стандартные отчёты могут лгать. Чтобы увидеть правду, нужно сравнивать работу модели не только с эталоном, но и с автоматической заглушкой, выдающей самый частый балл.
Текст подготовила языковая модель по материалам источников.

