Модель научилась понимать пространство без тяжелых 3D-кодировщиков
Чтобы ИИ понимал объём сцены, ему обычно требуется отдельный инструмент для обработки геометрии. Новая технология GeoThinker-F позволяет модели рассуждать о 3D-пространстве без использования внешних энкодеров во время работы.
Обычно для задач вроде автономного вождения нейросети передают данные от 3D-кодировщика, который извлекает глубину и облака точек. Это требует больших вычислительных мощностей. В процессе тренировки легкие модули предсказания обучаются извлекать нужные признаки из внутренних слоев модели. После этого тяжелый блок удаляют, и для работы ИИ нужны только видеокадры и вопрос.
Такой подход ускорил работу системы в 3,6 раза. Задержка при обработке запроса упала с 1,45 до 0,4 секунды. При этом точность пространственных рассуждений осталась почти на том же уровне, что и у предыдущей версии GeoThinker.
Например, на бенчмарке VSI-Bench результат составил 70,9 баллов против 72,6 у предшественника. По данным Pandaily, прирост эффективности достигается за счёт знаний, которые модули перенесли в основную модель при обучении, а не за счёт добавления лишних параметров.
Пока результаты не были подтверждены независимыми исследователями. Перед внедрением таких систем в робототехнику или беспилотники стоит проверить точность работы без реального 3D-датчика, так как от этого зависит безопасность движения.
Что поменялось
Скорость обработки пространственных запросов выросла в 3,6 раза при сохранении высокого уровня точности.
Источники · 1
Текст подготовила языковая модель по материалам источников.
