Модель Haru-4B умеет слушать и говорить одновременно
ИИ научился поддерживать разговор в режиме реального времени, не дожидаясь окончания фразы собеседника. Новая модель Haru-4B работает в режиме full-duplex, что позволяет ей перебивать пользователя или кивать в процессе речи.
Разработчики из японской компании higurashi создали систему, которая обрабатывает аудио и текст в едином потоке. Каждые 133 миллисекунды модель считывает один кадр звука пользователя и генерирует свой ответ. Это исключает задержки, когда одна сторона должна замолчать, чтобы другая начала говорить. В основе лежит архитектура Qwen3.5-4B, а для обучения использовали 40 миллионов часов многоязычных данных.
Для создания естественного общения команда разработала инструмент FastDialogueSidon. С его помощью собрали 13 миллионов часов данных для тренировки диалогов. Модель поддерживает девять языков, включая русский, английский и японский. На MacBook с чипом M1 Max задержка при разговоре составляет около 65 миллисекунд, а на оборудовании NVIDIA B300 она падает до 15 миллисекунд.
Пользователи могут настраивать характер персонажа через текстовые инструкции, а голос, с помощью коротких аудиореференсов. Веса модели и код уже опубликованы в открытом доступе под лицензией Apache 2.0.
Что поменялось
Модель поддерживает двусторонний аудиопоток, позволяя вести диалог без пауз на ожидание ответа.
· обновлено, версия 2
Источники · 2
Текст подготовила языковая модель по материалам источников.
