Свой движок распознавания речи вместо готовых библиотек
Вместо использования стороннего софта для диктовки разработчик решил создать собственное решение на Rust. В процессе работы фокус сместился с интерфейса на создание движка для обработки звука.
Изначально целью было создание нативной программы для диктовки. Автор хотел уйти от тяжелых фреймворков вроде Tauri в пользу более легких решений на Rust. Первые прототипы на GPUI Kit занимали 80 МБ оперативной памяти, но процесс сборки был слишком долгим из-за интеграции с C++ кодом.
Проблема заключалась в библиотеке transcribe.cpp, которая использовала движок ggml. При каждой пересборке процесс линковки занимал около минуты. Это заставило искать альтернативу, которая позволила бы избавиться от зависимости от C++ и ускорить работу.
В качестве замены выбрали технологию wgpu. Она позволяет писать шейдеры один раз на языке WGSL, чтобы они работали на любых видеокартах. Это решило проблему долгой компиляции и позволило перенести вычисления на видеокарту без сторонних инструментов.
В ходе разработки удалось реализовать поддержку моделей GigaAM v3 и Parakeet v2. Для этого пришлось самостоятельно прописать логику вычислений, так как формат GGUF хранит только веса моделей, а не алгоритмы их работы. В итоге получился движок, который в тестах обгоняет оригинальную библиотеку.
Для работы с голосом звук преобразуется в спектрограмму, которую затем обрабатывают нейросети. Энкодер превращает данные в векторы, а декодер выдаёт текст. Теперь программа поддерживает разные архитектуры, включая Whisper.
Вместо простого приложения для диктовки получился набор инструментов: движок распознавания, библиотека интерфейса и упаковщик. Для тех, кто ценит скорость работы и нативные приложения, этот опыт показывает важность глубокого понимания архитектуры моделей.
Что поменялось
Вместо готового софта создана система на Rust, которая работает быстрее за счет собственного движка обработки аудио через шейдеры.
Источники · 1
Текст подготовила языковая модель по материалам источников.

