Семантический поиск вместо сканирования файлов экономит до 40% стоимости токенов
Кодинг-агенты тратят огромные объёмы токенов на предварительный поиск файлов и чтение содержимого репозитория. Использование инструмента QMD для семантического поиска позволяет сократить расходы на входные токены до 40%.
Вместо того чтобы запускать команды поиска по всему проекту, агент может использовать индекс с векторными представлениями. Инструмент QMD создаёт такой индекс, извлекая текст из разных форматов документов. Для работы системы используются три модели: для создания векторов, переранжирования результатов и расширения поисковых запросов. Это позволяет находить нужные участки кода по смыслу, а не только по ключевым словам.
В ходе тестирования на проекте с 1231 файлом использование семантического поиска показало разные результаты. В одном сценарии экономия составила 21,3% на входных токенах и 13,9% на логических рассуждениях (reasoning). Однако рост объёма кэшированных данных и выходных токенов в некоторых случаях снижал общую выгоду почти до нуля. По данным автора проекта, общий разброс экономии может составлять от 40% до 1%.
Что поменялось
Вместо ручного сканирования репозитория агент использует семантический индекс, что сокращает количество считываемых файлов.
Текст подготовила языковая модель по материалам источников.
