Модель Inflect v3 научилась смеяться и вздыхать по команде
Разработчик выпустил семейство сверхлёгких моделей Inflect v3 для преобразования текста в речь. Они способны работать локально на обычном компьютере и имитировать эмоции через текстовые теги.
В новую версию Inflect v3 вошли три модели разного размера: Mini, Micro и Atom. Она работает как на центральном процессоре (CPU), так и на видеокартах (CUDA).
Одной из ключевых функций стала настройка голоса по образцу (reference-voice tuning). Пользователь может загрузить запись, чтобы модель создала профиль голоса. По словам автора, это заметно приближает звучание к оригиналу, хотя и не обеспечивает стопроцентного сходства с диктором.
Модель умеет реагировать на специальные теги, такие как [laugh] (смех), [sigh] (вздох) или [cough] (кашель). Если вставить такой тег в текст, ИИ воспроизведёт соответствующий звук. Пока эти эффекты ограничены. Они не меняют интонацию окружающих слов и выдают примерно одинаковый результат при повторном использовании.
Это позволяет запускать синтез речи даже на очень слабом оборудовании.
Модели доступны с открытым кодом Apache 2.0. Это значит, что их можно запускать локально на своём железе без облачных сервисов, сохраняя приватность данных.
Текст подготовила языковая модель по материалам источников.
