Эмоциональный диапазон нейросетей. Как добиться от ИИ актерской игры
Компактные модели синтеза речи часто выдают ровную дикторскую читку вместо живых эмоций. Чтобы заставить ИИ шептать или срываться на крик, исследователям приходится искать баланс между мощностью нейросети и ручной правкой звука.
Для записи лекций или аудиокниг достаточно, чтобы нейросеть просто четко произносила слова. Но когда задача требует актерской игры, с переходами на шёпот, паузами или сменой настроения внутри одного абзаца, современные компактные модели часто пасуют. Они склонны удерживать среднюю интонацию исходного образца, из-за чего драматический монолог звучит так же монотонно, как техническая документация.
Попытки решить проблему вручную через изменение высоты голоса или нарезку текста на отдельные фразы с разными референсами часто приводят к неестественным склейкам. По данным исследователя из Хабра, при использовании разных сэмплов одного голоса возникает эффект «разных комнат»: нейросеть копирует не только интонацию, но и акустику помещения.
Кроме того, механическое изменение частоты голоса не позволяет имитировать настоящий шёпот или спазм в горле, где меняется сам спектр звука.
Для проверки возможностей моделей был использован фрагмент из «Гамлета», где за короткий отрезок нужно сменить подачу от ностальгии до трагического надрыва. Сравнение показало, что более мощные модели вроде Fish Audio Drama 3 (35B-A3B MoE) справляются с эмоциональными перепадами лучше, чем младшие версии вроде S2 Pro (4B).
Разработка качественной озвучки требует либо огромных вычислительных мощностей, либо сложного пайплайна из нескольких нейросетей. Пока ИИ не может легко имитировать человеческую мимику голоса, создание живых аудиокниг остаётся задачей на стыке технологий и ручной работы.
Текст подготовила языковая модель по материалам источников.
