Модель на микроконтроллере за 400 токенов в секунду
Для запуска нейросети на чипе ESP32-S3 пришлось переписать код на ассемблере и использовать векторные инструкции. Так удалось ускорить генерацию текста в 18 раз по сравнению с базовыми версиями.
В основе проекта лежит крошечная языковая модель stories260K объёмом 260 тысяч параметров. Она способна писать простые детские сказки, но из-за малого размера не справляется со сложными задачами. Основная сложность заключалась в дефиците памяти. Внутренняя SRAM чипа составляет всего 512 КБ, а веса модели в исходном формате занимали больше места.
Первым шагом стало квантование весов в формат int8. Это позволило сжать модель с 1013 до 274 КБ и ускорить чтение данных из памяти в 2,5 раза. Поскольку объёмы стали меньше, веса удалось разместить во внешней PSRAM или даже во флеш-памяти чипа, что решило проблему нехватки места.
Чтобы достичь рекордной скорости, автор использовал расширение PIE и специальные векторные инструкции. Инструкция ee.vmulas.s8.accx позволяет выполнять 16 операций умножения и сложения за один такт. Поскольку компилятор не умеет использовать эти функции автоматически, программный код пришлось писать вручную на ассемблере.
Для контроля качества оптимизаций использовалась многоступенчатая проверка. Сначала код сравнивали с эталонным расчётом на Python, затем запускали через эмулятор и только после этого прошивали реальную плату. Расхождения в результатах при ускорении были минимальными и не влияли на выбор слов нейросетью.
Для работы модели на микроконтроллере критически важна оптимизация памяти и использование специфических инструкций процессора, от этого зависит скорость генерации.
Что поменялось
Скорость генерации выросла с 20 до 406 токенов в секунду за счёт квантования и векторных вычислений.
Текст подготовила языковая модель по материалам источников.

