Точность терминов против чистоты текста. Как ИИ распознаёт код
Разработчики создают «софтверные фабрики», где задачи ставятся голосом. Чтобы автоматика понимала команды, нейросети должны безошибочно распознавать технические термины в смеси языков.
Для создания программного продукта голосом критически важно качество автоматического распознавания речи (ASR). В условиях, когда разработчик смешивает русский язык с англицизмами и техническим сленгом, стандартные метрики качества могут вводить в заблуждение. Автор проекта Dark Software Factory провел тест на базе 1000 аудиозаписей, чтобы сравнить работу моделей GigaAM, T-one и Whisper на обычном процессоре (CPU).
Результаты показали разделение: GigaAM показала лучший показатель WER (коэффициент ошибок в словах), то есть текст выглядит чистым и грамматически верным. Однако Whisper лучше справляется с передачей специфических технических сущностей, несмотря на более высокий уровень ошибок в обычном тексте. Это создает дилемму: модель может писать аккуратно, но искажать ключевые команды, которые управляют конвейером разработки.
В задачах автоматизации ошибка в одном коротком термине может быть критичнее, чем десяток неправильных слов в длинном предложении. Если ИИ неверно распознает команду, это может привести к сбоям в работе агентов. Для «софтверной фабрики» важнее точность передачи смысла и технических параметров, чем идеальная чистота транскрибации.
Для тех, кто планирует использовать голосовое управление в разработке, это означает выбор между «красивым» текстом и точностью команд. Если вы строите автоматизированный конвейер, приоритет должен быть у моделей, которые точнее передают технические термины, даже если общий процент ошибок в речи выше.
Текст подготовила языковая модель по материалам источников.
