Локальная озвучка текста. Как собрать Glasvo на базе нейросетей
Разработчик собрал Glasvo, приложение для синтеза речи, которое работает на домашнем компьютере. Программа объединяет три разных движка в одном окне, чтобы обойти ограничения онлайн-сервисов.
Для работы моделей Silero достаточно обычного процессора, а для клонирования голоса через XTTS-v2 и F5-TTS нужна видеокарта с объёмом памяти от 6 ГБ. Это значит, что нейросети работают значительно быстрее реального времени.
Основная сложность при создании Glasvo заключалась не в написании кода для нейросетей, а в обработке текста. Модели Silero не умеют читать цифры и латиницу. Числа просто вырезаются, а английские слова пропадают.
Чтобы решить это, автор внедрил функции автоматического перевода цифр в слова и транслитерации. Например, «2026» превращается в «две тысячи двадцать шесть», а «YouTube», в «ютуб».
Другой проблемой стала совместимость программных пакетов. Установка нейросетей для клонирования голоса вызвала конфликты версий библиотек. Разработчику пришлось зафиксировать конкретные версии PyTorch и понизить версию некоторых инструментов, чтобы система работала стабильно. В итоге готовое окружение упаковано в файл со списком всех зависимостей, чтобы у пользователя всё запустилось одной кнопкой.
Приложение объединяет Silero, голоса Microsoft Edge и инструменты клонирования. Это значит, что вы можете озвучивать тексты бесплатно на своём железе, не оплачивая подписки за количество знаков.
Источники · 1
Текст подготовила языковая модель по материалам источников.
