Визуальный поиск по документам. Как дообучение моделей меняет работу с таблицами
Поиск нужной страницы в сложном PDF-файле может превратиться в рутину, если система не видит связи между заголовком и графиком. Инженеры X5 Tech и Т-Банка предложили способ, при котором ИИ «смотрит» на страницу как человек.
Традиционный текстовый поиск часто теряет структуру документа. При извлечении текста связи между строками таблицы или подписями к схемам могут разрушиться. Визуальный ретривер работает иначе, он индексирует саму картинку страницы.
Для этого специалисты разработали методологию подготовки данных RuDoRe, где запросы к документам генерируются автоматически с помощью ИИ. Это позволяет обучать модели понимать визуальный контекст, не тратя время на ручную разметку тысяч страниц.
В ходе экспериментов сравнивали архитектуры ColPali и ColQwen3. Чтобы адаптировать их к русскому языку, авторы использовали автоматизированный сбор документов через Yandex Search API и их последующий рендеринг.
При дообучении на датасете RuDoRe точность поиска (метрика nDCG@5) у ColPali выросла с 0,51 до 0,71. Однако на закрытом корпоративном корпусе документов X5-private лучшим результатом показала исходная модель ColQwen3-2B с показателем 0,84 против 0,77 у текстовых моделей.
Визуальный поиск требует больше вычислительных ресурсов, так как система сравнивает не просто два вектора текста, а наборы векторов отдельных элементов страницы. Это позволяет находить точное совпадение запроса с конкретной областью изображения, например, с легендой графика. Несмотря на сложность, дообучение моделей помогает им лучше ориентироваться в специфических темах вроде компьютерных наук или физики.
Разработка позволяет автоматизировать поиск информации в сложных отчётах и документах с версткой. Для пользователей это означает, что поиск по базе документов станет точнее: система сможет находить нужную страницу не только по словам, но и по визуальному расположению элементов.
Источники · 1
Текст подготовила языковая модель по материалам источников.
