Ускорение ИИ-ассистента через спекулятивный декодинг
Время ожидания ответа ИИ-ассистента на Wildberries сократилось с 10,9 до 3,6 секунд. Это стало возможным благодаря внедрению технологии спекулятивного декодинга.
Генерация текста большой языковой моделью часто упирается в скорость чтения данных из памяти, а не в вычислительную мощность. Чтобы ускорить процесс, инженеры используют метод «черновика». Маленькая модель (драфтер) угадывает несколько слов вперёд, а основная модель проверяет их одним быстрым проходом. Если догадка верна, система экономит время на чтении весов GPU.
В ходе тестирования на Wildberries сравнивали семь методов ускорения, от простых алгоритмов до современных решений вроде DFlash 2 и DSpark. Лучшими оказались параллельные драфтеры: при низкой нагрузке они ускоряют работу в 2 раза, а при сотне одновременных пользователей, в 1,4 раза. Специально дообученная «голова» модели показала ускорение в 1,7-1,8 раза.
Технология позволяет ускорить работу без потери качества. Поскольку проверка черновика происходит по строгим математическим правилам, итоговое распределение ответов не меняется, модель выдаёт те же результаты, что и при обычном режиме. Единственное различие. Плохой черновик просто реже угадывает, а не искажает смысл текста.
Внедрение новой технологии сократило медианное время обработки сообщения почти в три раза. Вместо ожидания длинных генераций пользователю теперь приходится ждать всего несколько секунд.
Что поменялось
Медианное время обработки сообщения снизилось с 10,9 до 3,6 секунд.
Источники · 1
Текст подготовила языковая модель по материалам источников.

