Высокое квантование помогает ИИ не терять нить в длинных текстах
При работе с контекстом объёмом 400 000 токенов точность весов модели может стать решающим фактором. Пользователи заметили, что при больших объёмах данных разница между версиями с разной степенью сжатия проявляется сильнее, чем в стандартных тестах.
Вопрос точности весов при работе с длинным контекстом стал темой обсуждения в сообществе r/LocalLLaMA. Пользователь с ником Viktri1 провел сравнение моделей Qwen Flash Next с разной степенью квантования, перейдя с версии q6 на q8. Ожидание, что версия q6 будет работать без потерь качества, не оправдалось.
В ходе A/B тестирования выяснилось, что на больших объёмах данных q6 давала неверные ответы там, где q8 справлялась корректно. Это наводит на мысли о влиянии объёма данных на стабильность модели.
Существует предположение, что при работе с огромным контекстом количество токенов увеличивает вероятность отклонения от верного пути. Чем больше данных обрабатывается за один раз, тем сильнее могут накапливаться ошибки в весах сжатой модели. В таких условиях даже небольшие погрешности квантования могут усиливаться, приводя к неверным выводам.
Это ставит под сомнение результаты стандартных бенчмарков, которые обычно проводятся на коротких текстах. На деле ошибки могут быть незаметны в коротком диалоге, но становятся критичными при анализе целой книги.
Что поменялось
При увеличении объёма контекста точность весов (квантования) может играть более важную роль, чем при стандартных тестах.
Источники · 1
Текст подготовила языковая модель по материалам источников.

