ИИ выполняет инструкции, но не решает задачи. Как работает XYBench
Пользователь просит помочь с густым кремом, не замечая, что капкейки еще горячие. ИИ даст рецепт, но проблема останется. Так работает XY-проблема, которую теперь проверяют новым тестом.
Исследователи из Allen Institute for AI, NVIDIA и других университетов представили XYBench. Это набор из 8 115 вопросов для проверки способности нейросетей понимать истинную цель человека. Проблема заключается в расхождении между желаемым результатом и способом, который выбрал пользователь.
В технической среде это называют XY-проблемой. Человек хочет решить задачу X, но просит помощи с методом Y, который на самом деле бесполезен или вреден.
Тестирование моделей вроде GPT-5 и Claude Sonnet 4.6 показало серьезный разрыв в логике. На форумах типа Stack Overflow нейросети выбирали правильный вариант в 71-84% случаев. Однако при самостоятельной генерации ответов модели фокусировались на реальной цели пользователя лишь в 35-41% случаев. Даже понимая ошибку, ИИ часто продолжал подробно объяснять именно тот неправильный путь, о котором просил человек.
Для создания бенчмарка использовали вопросы из Stack Overflow и бытовые ситуации из WikiHow. В технических темах, например про XML, пользователь может просить написать сложное регулярное выражение вместо использования парсера.
В быту это может быть попытка починить пылесос усилением тяги вместо чистки шланга. Чтобы избежать предсказуемости, 77% вопросов составили искусственно с помощью Claude Sonnet 4.5. Она находила ошибки в инструкциях, где неопытный человек мог допустить просчет.
Для пользователя это означает, что ИИ может быть безупречно вежливым и точным исполнителем, который при этом бесполезен. Вместо решения проблемы вы получаете детальную инструкцию к действию, которое не сработает. Пока ИИ не научится ставить под сомнение предположения в запросе, он будет лишь инструментом для выполнения инструкций, а не полноценным помощником. Это значит, что за результат всё равно придётся отвечать человеку.
Текст подготовила языковая модель по материалам источников.
