Маленькие модели Kitten TTS 2 умеют говорить без мощных видеокарт
Для озвучки текста теперь не обязательно использовать тяжелые нейросети. Новые компактные модели Kitten TTS 2 работают даже на обычных процессорах.
Разработчики представили линейку моделей Kitten TTS 2, разделенную на три версии: Mini, Nano и Pico. Каждая из них оптимизирована под разные задачи, но объединяет общая черта, возможность работы на обычном процессоре без использования PyTorch. Версия Mini имеет 82 миллиона параметров и поддерживает 16 языков.
Она предлагает 118 голосов с частотой дискретизации 24 кГц. Вес модели в формате ONNX с весами int8 составляет всего 82,7 МБ. Это позволяет запускать её на стандартном железе без специализированных ускорителей.
Более легкие версии Nano и Pico ориентированы на минимальное потребление ресурсов. Модель Nano с 17 миллионами параметров поддерживает 8 языков и 37 голосов. Её вес в формате ONNX составляет 17,4 МБ.
Она поддерживает 8 языков и 30 голосов при весе всего 8 МБ. Вместо тяжелых вычислений здесь используется оптимизация, которая сводит работу к базовым задачам синтеза речи.
Для всех моделей доступны как оптимизированные ONNX-файлы, так и стандартные веса PyTorch. Это дает выбор между максимальной скоростью на CPU и гибкостью при разработке. Вместо сложных серверных решений теперь можно использовать компактные движки для локальной озвучки. Это освобождает время на настройку инфраструктуры, так как модели занимают минимум места в памяти.
Компактные модели Kitten TTS 2 работают на CPU без использования PyTorch. Это значит, что вы можете внедрить озвучку в простое приложение или на слабое устройство без покупки видеокарт.
Что поменялось
Появились сверхлегкие модели для синтеза речи, работающие на CPU с минимальным объемом памяти.
Текст подготовила языковая модель по материалам источников.

