Замена имен на метки. Как настроить Presidio для русского языка
Перед отправкой данных в нейросети их можно анонимизировать: заменить имена и адреса на технические метки, а затем вернуть оригинал в ответе. Автор Хабра проверил, как инструмент Presidio справляется с русским языком и разными моделями распознавания.
Процесс защиты данных делится на два этапа. Поиск и замену. Сначала AnalyzerEngine находит чувствительные фрагменты, определяя их тип и координаты в тексте. Затем AnonymizerEngine применяет к ним правила.
Заменяет на метки, маскирует символы или полностью удаляет фрагменты. Такое разделение позволяет менять модели поиска, не переписывая логику обработки текста.
Для работы с русским языком в Presidio недостаточно просто переключить настройки. Нужно согласовать язык с NLP-движком и правилами распознавания. В тесте сравнивали стандартную библиотеку spaCy с моделями Fastino и Metrika. На тестовом наборе из 25 упоминаний модель Metrika обеспечила полное скрытие всех данных, в то время как у spaCy часть адреса осталась открытой.
Чтобы вернуть реальные данные после ответа нейросети, используют словарь. При замене текст помечается уникальными метками, которые связываются с оригиналом в памяти. После того как ИИ обработает текст, специальный движок находит метки и подставляет вместо них исходные значения. Это позволяет сохранить контекст, не передавая персональные данные во внешние системы.
Для работы с конфиденциальной информацией важно заранее продумать хранение словарей. В продакшене они должны быть зашифрованы и изолированы. Если вы планируете использовать ИИ для обработки документов, настройка точных правил распознавания определит, насколько безопасным будет результат.
Текст подготовила языковая модель по материалам источников.
