Бенчмарк EFE выявил разрыв между кодинг-агентами и физическим миром
Симуляция с бесконечными перезапусками скрывает проблемы управления. Новый бенчмарк Embodiod First Exam показал, как точность действий падает при переходе от идеальных условий к работе с реальными сенсорами.
Исследователи представили Embodied First Exam (EFE), систему из 1156 задач для 47 симулируемых роботов. В рамках теста ИИ-агенты должны самостоятельно писать контроллеры, обучать политики или выдавать команды для выполнения действий. В отличие от стандартных тестов, здесь модели работают в условиях ограниченного доступа к данным среды.
Проверка показала, что возможности моделей сильно зависят от условий среды. Лучший агент из протестированных, GPT-6 Astra в CLI Codex от OpenAI, достигал 77% успеха при полном доступе к состоянию симулятора. Однако при переходе на использование только бортовых сенсоров и ограниченном количестве попыток результат падал до 30%.
Такой разрыв объясняется необходимостью совершать точные, повторяющиеся движения. В симуляции ошибки легко исправляются сбросом системы, а в физическом мире действия могут быть необратимыми. Для переноса ИИ на реальное железо потребуются механизмы безопасного восстановления состояния и специальные программные обвязки.
Все текущие оценки в бенчмарке получены на основе одиночных попыток в симуляции. Для работы в реальности моделям нужно научиться справляться с погрешностями сенсоров и физическим контактом.
Что поменялось
Вместо идеальных условий симуляции вводится бенчмарк, учитывающий ограничения сенсоров и невозможность бесконечных перезапутов.
Источники · 1
Текст подготовила языковая модель по материалам источников.

