Миллиарды картинок и многоступенчатый пайплайн. Как работает OCR в Wildberries
Ежедневно через модерацию площадки проходит более 35 млн карточек товаров. Чтобы распознавать текст на таких объёмах, инженеры используют не одну универсальную модель, а сложную цепочку из нескольких этапов.
Для Wildberries распознавание текста это не просто перевод картинки в буквы, а входные данные для проверки правил площадки. Система ищет контактные данные, запрещённые слова или препараты. Ежедневно через модель распознавания проходит около 400 млн изображений, и более 90% этого потока, фотографии товаров. На таких масштабах критически важна предсказуемость и возможность точечно исправлять ошибки в каждом блоке системы.
Инженеры выделяют три варианта решения задачи. Использование огромных мультимодальных моделей (VLM), компактных специализированных end-to-end архитектур или связки из нескольких моделей. По данным команды разработки RWB, большие VLM вроде Qwen3-VL не могут заменить основной процесс из-за ограничений по памяти и скорости. Вместо этого их используют как вспомогательный контур на доли процента трафика для валидации качества и поиска сложных случаев.
Основная сложность заключается в геометрии. Текст на упаковках часто бывает изогнутым, вертикальным или расположен по дуге. Обычного детектора, который просто выделяет прямоугольную рамку, недостаточно.
Для работы используется сегментация с выпрямлением текста, чтобы нормализовать форму перед распознаванием. Это позволяет избежать ошибок, когда геометрические искажения превращаются в неверно прочитанные символы.
Разделение процесса на этапы, от предобработки и детекции до сегментации и маршрутизации по языкам, позволяет масштабировать систему. Это также даёт возможность добавлять новый функционал, не ломая старый. В условиях работы в 10 странах важно поддерживать мультиязычность, когда на одной карточке могут соседствовать разные системы письма.
Для модерации огромных потоков данных важна не идеальная метрика на тестовом наборе, а стабильность работы всей системы. Использование многоступенчатого пайплайна вместо одной модели гарантирует, что ошибки будут предсказуемыми и исправимыми.
Текст подготовила языковая модель по материалам источников.
