Инструмент inside-llm позволяет сравнивать работу двух моделей токен за токеном
Сравнение двух версий одной нейросети теперь можно проводить на уровне каждого выбранного слова. Новый инструмент inside-llm визуализирует процесс генерации текста, чтобы увидеть, в какой момент разные квантования начинают выдавать разный результат.
Инструмент работает с форматом GGUF через библиотеку llama.cpp и позволяет загружать две модели одновременно для синхронного сравнения. В режиме lockstep обе нейросети читают один и тот же текст, что позволяет точно увидеть расхождения в выборе токенов. В режиме free модели следуют своим путям, пока их ответы не разойдутся.
Визуализация включает в себя отображение вероятностей токенов, энтропию и метрики расхождения, такие как дивергенция Йенсена-Шеннона и KL. Пользователь может проследить работу цепочки сэмплеров, от температуры до грамматики GBNF, и увидеть, сколько кандидатов проходит через каждый этап. Система также поддерживает функцию logit lens для визуализации предсказаний слоёв в виде 2D-карт или 3D-рельефа.
Для работы программы требуется, чтобы обе модели имели одинаковый токенизатор и помещались в видеопамять одной видеокарты. Проект работает локально без передачи данных, а сессии можно записывать и воспроизводить позже на статичных страницах без использования GPU.
Перед использованием для глубокого анализа проверьте, поместятся ли обе модели в VRAM одновременно, от этого зависит стабильность работы и возможность точного сравнения.
Что поменялось
Инструмент позволяет визуально отслеживать расхождения между разными версиями (квантованиями) одной модели на уровне каждого токена.
Текст подготовила языковая модель по материалам источников.
