Маленькая модель озвучивает текст в 70 раз быстрее реального времени
Разработчик представил tiny-voca. Это компактная система синтеза речи с 4,5 миллионами параметров, которая работает прямо в браузере.
Модель весит всего 18 МБ и включает в себя генератор звуковых волн. Она поддерживает два голоса, мужской и женский, с частотой 24 кГц. Благодаря отказу от нейронного вокодера в пользу синтезатора типа «источник-фильтр», система работает в 70 раз быстрее реального времени на четырех потоках процессора. Обучение заняло около 8 часов на одной видеокарте RTX 4090.
Все компоненты проекта, включая код, веса и датасет, полностью открыты. Модель работает через PyTorch, ONNХ и в браузере без отправки данных на сервер. На данный момент поддержка ограничена только английским языком.
Клонирование голоса пока недоступно, а из-за использования синтетических данных для обучения звук может казаться неестественным. Также модель иногда ошибается в иностранных именах и сложном написании слов.
Вместо тяжелых нейросетей здесь используется кастомный фонемизатор. Это позволяет запускать озвучку на обычном процессоре без мощной видеокарты. Пока возможности ограничены двумя голосами и одним языком, но архитектура позволяет использовать её в легких приложениях. Вместо полноценного диктора вы получаете быстрый инструмент для чтения текста.
tiny-voca это компактный инструмент для озвучки текста, работающий на базе открытого кода. Это значит, что вы можете запускать синтез речи локально на слабом железе без облачных сервисов.
Источники · 1
Текст подготовила языковая модель по материалам источников.
