Язык промпта может лишить ИИ-агента желания искать ответы
Русский текст в задаче иногда заставляет ИИ-агентов отказываться от поиска информации в интернете. Исследование показало, что это может привести к ошибкам в сложных задачах.
Язык, на котором сформулировано задание, влияет на поведение ИИ-агентов. В исследовании, описанном на «Хабре», автор сравнивала эффективность решения задач на английском и русском языках.
В большинстве случаев разница в результатах была минимальной: при отсутствии подсказок успех составлял 62,6% для английских задач и 54,4% для русских. Разница в восемь пунктов оказалась на грани статистической погрешности, но у некоторых моделей проявилась специфическая особенность.
Основная проблема проявилась у моделей Codex и Kimi K3.1. При получении задач на русском языке эти агенты переставали искать информацию в интернете. Это становилось критичным, когда решение задачи содержалось только на форумах или в специфической документации. В таких случаях оценка агентов падала с максимальных 5 из 5 до нуля, так как они пытались придумать решение самостоятельно вместо поиска верного факта.
Использование «заметки», встроенного в промпт факта для решения задачи, помогало выровнять результаты. С подсказкой успех возрастал до 92-94% на обоих языках. При этом перевод самой заметки с английского на русский практически не влиял на результат.
Агенты успешно использовали информацию вне зависимости от языка инструкции. Это происходит потому, что ИИ ориентируется на технические идентификаторы и пути в коде, которые остаются англоязычными.
Если вы ставите задачи агентам на неанглийском языке, важно учитывать риск. Модель может молча пропустить шаг поиска в сети. Чтобы избежать этого, стоит включать необходимые факты или контекст прямо в текст промпта.
Текст подготовила языковая модель по материалам источников.
