Новые методы сжатия ИИ. Модели учатся редактировать свои веса
Алгоритмы научились оптимизировать нейросети, заменяя ручную настройку на работу ИИ-агентов. Это позволяет уменьшить размер моделей без потери качества ответов.
Разработчики из лаборатории Nace представили метод Weight Space Programming. Вместо традиционного округления чисел, ИИ-агенты Astra, Fable и Carbon самостоятельно предлагают изменения в весах моделей. Они тестируют правки на точность и возвращают неудачные варианты. Так нейросеть буквально переписывает саму себя, чтобы лучше соответствовать задачам.
В тестах на моделях Qwen 9B, 27B и 35B метод показал высокую эффективность. Например, версия Q3 для модели 9B достигла точности в 90,5% при объеме всего 4,7 ГБ. При работе с длинным контекстом в 128 тысяч токенов такие модели сохраняют стабильность лучше конкурентов. По данным Nace, это позволяет достичь двукратного улучшения показателей KL-дивергенции по сравнению с обычными методами.
Другой подход использует квантование на основе решётки Лича. Метод группирует веса по 24 штуки и привязывает их к плотной математической структуре. Это позволяет упаковать модели Qwen 4B, 8B и 14B до 2,7 бит на параметр. В результате модель большего размера может поместиться в видеокарту с меньшим объемом памяти, сохраняя при этом высокую точность на задачах программирования и логики.
Сжатие моделей всегда требует компромиссов. Использование методов Leech lattice на 14B модели показывает преимущество в качестве перед стандартными методами, но проигрывает в скорости. По сравнению с llama.cpp, новые решения работают медленнее при обработке запросов. Также при работе с длинными текстами потребление памяти может быть выше, чем у классических методов.
Что поменялось
Методы сжатия позволяют запускать мощные нейросети на менее производительном железе, сохраняя высокую точность ответов.
· обновлено, версия 5
Источники · 3
- Weight Space Programming for Quantization: Nace quants achieve up to 2x better KL divergence for Qwen 9B, 27B, 35B & Flash Next [GGUF]
- Nace quants vs Unsloth Dynamic v3.1, has anyone compared them on actual tasks?
- Qwen3 4B / 8B / 14B at ~2.7 bits per weight with Leech lattice quantization. Beats IQ2_S on quality at the same size, loses on speed [open source, Rust + CUDA]
Текст подготовила языковая модель по материалам источников.



