Улучшение качества моделей через замену GGUF-файлов
Обновление весов модели может повысить точность без изменения программного обеспечения. Новый метод оптимизации позволяет улучшить сжатые файлы GGUF, сохраняя привычную скорость работы.
Разработчик из сообщества r/LocalLLaMA обнаружил, что методы оптимизации из исследования MACaQ можно применить к любым моделям в формате GGUF. Это позволяет получить более качественные квантованные модели (сжатые версии) без установки патчей или обновления софта для запуска ИИ. В ходе тестов модель Qwen3.8-27B показала снижение расхождения (KLD) на 13,23% по сравнению с версиями от Unsloth.
Процесс включает три основных этапа. Первый, выбор параметров сжатия на основе матрицы Гессе (Hessian), когда каждый слой модели сжимается индивидуально, чтобы минимизировать ошибки. Второй этап восстанавливает точность весов за счёт компенсации накопленных ошибок.
Третий, использование преобразования Адамара для выравнивания значений, что помогает сжимать данные эффективнее. По словам автора, первые два метода не требуют дополнительной видеопамяти или изменения кода llama.cpp.
Для пользователя процесс сводится к простой замене файла. На практике это означает, что можно получить модель с более высокой точностью ответов и лучшим пониманием кода, просто скачав обновленный GGUF. Это освобождает время на настройку софта, так как изменения происходят внутри самих весов модели.
Текст подготовила языковая модель по материалам источников.

