Выбор модели для ответов на отзывы. Как автоматизация справляется с браком
Написание вежливых ответов на отзывы покупателей, задача массовая и дешёвая. Но когда клиент пишет о браке, нейросеть может пообещать проверку партии, которой не существует.
Для сервиса ответов на маркетплейсах важно не просто генерировать текст, а соблюдать правила площадок и логику бизнеса. Одно неверное слово про «передачу на производство» или запрос номера заказа может нарушить правила Wildberries или Ozon. Вместо рутины автор создал систему из трёх этапов: классификация по тональности, генерация ответа и проверка фактов. Последний этап нужен, чтобы ИИ не выдумывал обещания или контакты.
Для тестирования моделей использовали синтетический набор из 346 сложных примеров. В него включили не только обычные оценки, но и жалобы на брак, вопросы о доставке и попытки взлома промптов. Проверка шла по строгому набору правил, заложенных в поле ожиданий.
Если модель нарушала запрет или не давала нужный ответ, пример считался проваленным. Это позволило объективно сравнить разные нейросети.
В итоге основной моделью стала Alice AI LLM Flash. Для сложных задач, вроде проверки фактов и классификации, используется GigaChat 3.5 Ultra. В вопросах и проверке данных помогает модель 3 Pro.
Набор моделей позволяет распределять нагрузку. Простые ответы пишет одна нейросеть, а сложные случаи берет на себя другая. Это помогает сэкономить бюджет без потери качества.
Выбор модели зависит от сложности задачи. Для массовых ответов достаточно быстрой нейросети, а для контроля за точностью информации нужны более мощные версии. Смена модели на более дорогую должна оправдываться качеством, которое она приносит в бизнес-процесс.
Что поменялось
Для автоматизации ответов на отзывы используется комбинация разных моделей в зависимости от сложности задачи. Процесс включает классификацию, генерацию и автоматическую проверку на ошибки.
Текст подготовила языковая модель по материалам источников.
