Порог в 90% как предел качества для LLM-систем
Добиться идеальных ответов от нейросетей в реальных задачах практически невозможно. Даже при высокой точности на тестах, работа с живыми данными часто сталкивается с непредвиденными ошибками.
На внутренних тестах модели часто показывают результат в 98% правильных ответов, но при выводе продукта на реальную эксплуатацию точность может упасть до 73%. Автор статьи на Хабре объясняет, что это происходит из-за исключений и сложных сценариев, которые не учитываются при разработке.
В таких случаях попытка впихнуть все правила и примеры в один промпт приводит к «переобучению». Модель заучивает конкретные примеры вместо того, чтобы понимать общую логику.
Чтобы повысить точность, разработчики пробуют разные подходы. Можно разделить одну сложную задачу на несколько последовательных вызовов модели или использовать динамическую подстановку примеров.
Например, при попытке классифицировать услуги в документах разделение задачи на извлечение списка и последующий подбор кодов для каждой позиции позволило поднять качество с 73% до 89%. Еще один метод, поиск похожих примеров через векторы, что в одном из экспериментов подняло точность до 94%.
Несмотря на технологический прогресс, достичь стабильных 100% крайне сложно. Если задача решается цепочкой из нескольких запросов, итоговое качество всей системы становится результатом перемножения точности каждой отдельной части. Это означает, что даже небольшие погрешности на каждом этапе могут привести к критическим ошибкам в финальном результате.
Для разработчиков это означает, что планировать точность выше 90% для сложных систем на базе LLM не стоит. В задачах, где цена ошибки велика, такие системы могут потребовать дополнительного контроля или изменения архитектуры.
Источники · 1
Текст подготовила языковая модель по материалам источников.
