Локальная расшифровка звонков на macOS. Как собрать инструмент без облаков
Разработчик создал приложение для macOS, которое записывает и расшифровывает созвоны прямо на компьютере. Весь процесс, от захвата звука до разделения голосов, происходит локально, чтобы данные не уходили на сторонние серверы.
В основе решения лежат инструменты mlx-whisper и pyannote. Приложение записывает звонок на две разные дорожки. Микрофон пользователя и звук собеседников. Это позволяет разделять голоса без путаницы, когда один человек перебивает другого.
Если подключить внешнего ИИ-ассистента, он может составлять краткие итоги встреч на основе полученного текста. Сами же процессы записи, распознавания и разделения голосов остаются внутри устройства.
Одной из главных сложностей стала борьба с эхом при работе без наушников. Поскольку микрофон улавливает звук из динамиков, собеседник в расшифровке мог дублироваться. Чтобы решить проблему, разработчик применил нейросеть LocalVQE объёмом 11 МБ.
Она отслеживает сдвиг звуковых потоков в реальном времени и подавляет эхо, не затрагивая основную речь пользователя. В результате количество лишних слов в расшифровке сократилось с 1676 до 549.
Для захвата системного звука в macOS пришлось использовать Core Audio process tap, так как стандартные средства могли выдавать тишину или не слышать звонки в FaceTime. Также была настроена защита от галлюцинаций нейросети Whisper, которая могла ошибочно распознавать тишину или фоновые шумы как чью-то речь. Код проекта открыт, а версия для Windows находится в разработке.
Инструмент позволяет превратить обычный созвон в структурированный текст без передачи запинок и личных данных в облако. Это значит, что вы можете записывать рабочие встречи с соблюдением приватности, используя только мощности своего компьютера.
Источники · 1
Текст подготовила языковая модель по материалам источников.
