Salesforce выпустила модель SOV-Transcribe-1 для точного перевода речи в текст
Новая нейросеть SOV-Transcribe-1 умеет превращать аудио в текст с учётом контекста и сложных терминов. Она занимает первое место среди открытых моделей для задач распознавания речи на платформе Artificial Analysis.
Модель от Salesforce сочетает в себе аудиоэнкодер Whisper large-v3 и архитектуру Gemma 4. Это позволяет запускать систему на собственной инфраструктуре компаний, сохраняя контроль над аудиоданными.
Система хорошо распознаёт имена, номера телефонов и адреса электронной почты. Она устойчива к шуму и разным акцентам в английском языке. Пользователь может управлять стилем текста через обычные текстовые инструкции. Можно попросить модель сделать дословную расшифровку или, наоборот, очистить текст от лишних слов и пауз.
Для работы с техническими терминами предусмотрена функция контекстного смещения. Можно заранее загрузить список специфических слов или описание темы, чтобы модель точнее распознавала сложные названия. Поддерживаются английский, французский, немецкий, испанский, итальянский, португальский и голландский языки.
Максимальная длина аудиофайла в тестах составила 30 минут. Модель поддерживает фреймворки vLLM и Hugging Face Transformers. Это значит, что разработчики могут адаптировать её под свои задачи, используя открытую лицензию Apache 2.0.
Вместо ручной правки транскриптов теперь можно использовать текстовые команды для настройки пунктуации и формата чисел. Это освобождает время на редактирование готовых документов.
Что поменялось
Разработчики получили доступ к открытой модели с высокой точностью распознавания сущностей и гибким управлением стилем текста через естественный язык.
Текст подготовила языковая модель по материалам источников.
