Предсказание будущего поможет ИИ понять физику мира
Чтобы агент научился проходить уровни, он должен понимать законы физики. Для этого разработчики пытаются научить нейросеть предсказывать следующий кадр видеоигры.

В игре Frostbite персонажу нужно строить дом и уворачиваться от врагов. Простой ИИ-агент на базе трансформера застрял на первом уровне, набирая всего 779 очков. Чтобы вытолкнуть его из этого тупика, разработчики решили использовать принцип предсказания будущего.
Логика проста. Чтобы угадать следующий кадр, модель должна выработать внутренние понятия об объектах и их взаимодействии. Это должно создать подобие скрытого языка, описывающего физику сцены.
Идея опирается на биологические механизмы. В зрительной коре мозга высшие уровни постоянно предсказывают активность нижних, а человек получает дофамин при успешном распознавании нового. Технически это работает через сопоставление векторов скрытых состояний.
Агент пытается создать вектор будущего кадра и минимизировать ошибку между ним и реальностью. Так он учится понимать, что такое объекты на экране.
На практике добавление функции предсказания не принесло мгновенного успеха. В экспериментах результат даже упал с 779 до 697 очков. Предсказание помогает строить понятия, например, что такое дверь или дом.
Но оно не повышает вероятность редкого действия, такого как вход в иглу. Это лишь необходимое условие для развития интеллекта.
Для решения задачи нужно не только понимать мир, но и иметь базовые установки. У человека есть априорные знания, накопленные через воспитание и среду. Разработчикам предстоит найти способ задать агенту подобные базовые траектории поведения. Без них понимание физики останется лишь набором абстрактных данных.
Текст подготовила языковая модель по материалам источников.


