Смешение языков в Gemma 4 мешает переводу длинных текстов
В ответах модели при переводе с китайского на вьетнамский иногда проскакивают лишние символы. Это создает проблему для тех, кто работает с длинными документами.
При переводе длинных текстов в результат периодически попадают символы из других алфавитов. Корейского, арабского или кириллицы. Хотя такие ошибки составляют менее 0,5% текста, они нарушают плавность чтения.
Проблема сохраняется даже при использовании высокоточных весов q8 и расширенного кэша KV. Настройка параметров сэмплирования, таких как температура или top p, также не помогает. Для исправления каждой ошибки приходится вручную сверяться с оригиналом и использовать переводчик.
Попытки ограничить вывод модели через регулярные выражения в LLguidance приводили к зависанию системы. Метод маскирования токенов, когда вероятности нежелательных символов занижаются через редактирование весов, на текущей архитектуре Gemma 4 не сработал. Это связано с тем, что lm_head привязана к embed_tokens.
Для пользователя работа с моделью такого размера превращается в ручную правку. Это делает процесс исправления ошибок трудоемким и заставляет искать способы автоматизации, которые пока не работают.
Что поменялось
При переводе текстов с помощью Gemma 4 возникают ошибки смешения алфавитов, требующие ручной правки.
Текст подготовила языковая модель по материалам источников.
