Ложная предпосылка в запросе провоцирует галлюцинации ИИ
Вопрос о несуществующем событии может заставить нейросеть выдумать детали с той же уверенностью, что и при ответе на правду. Исследования 2025-2026 годов показывают, что формулировка запроса часто подавляет встроенные механизмы отказа от ответа.
Внутренняя уверенность модели не помогает распознать ошибку в вопросе. Анализ набора CREPE, включающего вопросы с Reddit, показал, что метрика AUROC при попытке отличить корректные ответы от ложных составила всего 0,50-0,58. Это означает, что уровень успеха модели сопоставим с подбрасыванием монетки. Даже при прямом вопросе о корректности предположки результат остается слабым и колеблется в пределах 0,64-0,67.
Формулировка вопроса напрямую влияет на частоту выдумок. Тесты бенчмарка PhantomBench на 21 модели показали, что при запросе «что такое X?» доля ошибок достигает 33,4%, тогда как вопрос «существует ли X?» снижает этот показатель до 16,2%.
В тестах PhantomFill было замечено, что обязательные поля в структурированных формах заставляют модели заполнять их в 100% случаев. В таких сценариях только GPT-5.5 и Claude Opus надёжно использовали вариант «недостаточно данных», в то время как открытые модели его игнорировали.
Галлюцинации могут возникать из-за внутреннего механизма, где признак «известная сущность» подавляет схему отказа. Если модель ошибочно распознаёт имя или понятие как знакомое, она отключает режим «недостаточно информации» и начинает достраивать детали.
В тестах на программирование модели принимали выдуманные названия пакетов в 98% случаев, реагируя только на слишком странное написание. На флагманских моделях 2026 года доля принятия ложных данных ниже и составляет от 4,6% до 6,1%.
По данным Artificial Analysis на ноябрь 2026 года, у Claude Opus 5.5 доля неверных ответов в ситуациях, когда модель не знает факта, составляет 50,3% при точности 65,5%. У Gemini 4 Argon этот показатель равен 4,3%.
Перед использованием ИИ для извлечения данных из юридических или медицинских документов проверяйте соответствие ответов реальности, так как уверенный тон модели не гарантирует точность.
Текст подготовила языковая модель по материалам источников.


