Роботы научились перенимать навыки у людей через видео
Обучение робота теперь может происходить через просмотр роликов с участителями-людьми. Так работает новая модель GR00T 2 от Nvidia, которая переносит навыки с человека на машину с совершенно другой конструкцией.

Модель GR00T 2 использует архитектуру World-Action Model. Она одновременно предсказывает будущие кадры видео и движения робота. Система получает данные с камер, текстовые инструкции и сведения о состоянии машины. На основе этого она генерирует последовательность движений для выполнения задачи.
Обучение строится на огромном массиве видео. Nvidia использовала 402 730 часов роликов от первого лица, где люди выполняют рабочие задачи. Также в выборку вошли 10 184 часа демонстраций с ручным захватом и 23 500 часов дистанционного управления. Видео с людьми стали основной частью базы.
Главная особенность в возможности переноса навыков. Например, робота обучали лабораторным процедурам по видео с камер на голове и запястьях человека. После этого он успешно выполнял эти задачи на манипуляторе Dexter с роботизированными кистями. При этом он не получал прямых команд на управление такими движениями.
Для адаптации к новой задаче требуется менее 3 минут демонстрационных данных и 30 минут дообучения на видеокарте RTX 5090. Одна демонстрация подняла успешность выполнения задач с 40% до 71%. Пять показанных примеров увеличили точность до 95%.
Существует и облегченная версия GR00T 2 Turbo. Она работает непосредственно на борту робота, например на гуманоиде Unitree G1. Благодаря компактному представлению видео задержка прогнозирования сократилась на 66-86%. На бортовом компьютере Jetson Thor один прогноз занимает 124 мс.
В паре с ИИ-агентом, который разбивает сложные задачи на этапы, точность сборки игрушек достигла 97-98% из 100 попыток. Без помощи агента результат был ниже, а при использовании только базовой политики успех падал до 23-69 случаев. Это показывает, что физическое выполнение и логика теперь разделены.
Вместо программирования каждого движения робот учится понимать физику мира через наблюдение. Это значит, что для обучения машины новой работе больше не нужно переписывать код, достаточно показать видео процесса.
Что поменялось
Для обучения робота теперь можно использовать обычные видео с участием людей, а адаптация к новой задаче занимает до 30 минут.
Источники · 1
Текст подготовила языковая модель по материалам источников.

