Одна модель вместо двух ускоряет диктовку в десятки раз
Традиционные приложения для голосового ввода используют связку из модели транскрибации и языковой модели. Новый метод объединяет эти этапы в один процесс, сокращая время обработки речи до секунды.
Обычно процесс диктовки на компьютере работает в два этапа. Сначала модель переводит голос в текст, а затем языковая модель убирает слова-паразиты и расставляет знаки препинания. По данным пользователя Mehmet_dedeler с форума r/LocalLLaMA, такая схема требует много ресурсов.
Две модели часто не помещаются в видеопамять одного ноутбука, из-за чего система работает медленно. Кроме того, текст приходится генерировать дважды, а языковая модель не всегда может исправить ошибки распознавания слов.
Автор предложил обучить одну компактную модель сразу двум задачам. Он использовал датасеты с живой речью и обучил модель Qwen3-ASR 1.7B превращать аудио сразу в готовый, отредактированный текст. Вместо 36 секунд на обработку длинной записи теперь хватает всего одной секунды.
Модель весом 2,2 ГБ занимает около 2,5 ГБ видеопамяти. Это позволяет ей работать на бюджетных устройствах без перегрузки системы.
Объединенный подход решает проблему качества. В отличие от текстового редактора, единая модель может слышать интонации и паузы человека. Она понимает, когда пользователь передумал и начал фразу заново, чтобы не включать лишнее в финальный текст.
Вместо двухэтапной обработки теперь остается только один проход модели. Это освобождает время для работы, так как диктовка становится почти мгновенной.
Что поменялось
Время обработки диктовки сократилось с десятков секунд до 0,5-1 секунды за счет объединения моделей в одну.
Источники · 1
Текст подготовила языковая модель по материалам источников.
