Meta* выпустила датасет для создания 3D-сцен по видео
Инженеры представили XRStereo, набор из 18 тысяч последовательностей для обучения нейросетей восстановлению объёмного пространства по стереопарам.
В новом датасете собрано 13 виртуальных окружений. Девять интерьеров и четыре уличные сцены. Каждая последовательность содержит пять стереопар с разрешением 1024 1024 пикселя. В процессе создания исследователи меняли угол обзора от 50 130 и расстояние между камерами от 4 до 12 см, чтобы охватить разные условия съемки.
Данные создавались специально для метода StereoSplat, разработанного совместно с Амстердамским университетом. Технология использует Gaussian Splatting для построения трёхмерных моделей, которые позволяют генерировать изображения с новых точек обзора. Это имитирует перемещение камеры в пространстве.
Общий объём XRStereo составляет почти 373 ГБ и разбит на 72 архива. Вместе с данными в открытый доступ выложили код метода и веса готовых моделей.
Набор данных поможет обучать системы под разные типы стереокамер в VR-гарнитурах и робототехнике. Это значит, что разработчики получили инструмент для более точного воссоздания реальности в виртуальных мирах.
Текст подготовила языковая модель по материалам источников.

