Риски и чего не делать

Обезличивание кажется простым, но есть ловушки, из-за которых текст только выглядит безопасным.

Реидентификация

Главный риск - реидентификация: когда человека вычисляют по совокупности косвенных данных, даже если прямые (имя, телефон) убраны. Пол, город, должность и возраст по отдельности безобидны, но вместе часто указывают на одного конкретного человека.

Убрать имя недостаточно. Если по остатку косвенных признаков человек всё равно узнаётся - текст не обезличен.

Поэтому косвенные данные тоже обобщайте: не «руководитель отдела в компании X, 34 года», а «сотрудник среднего звена, 30-40 лет».

Чего не делать

• Не чистить «на глаз». При беглом просмотре легко пропустить данные, особенно в длинном тексте или в непривычном формате. Всегда прогоняйте поиском.
• Не отправлять сырьё «на всякий случай». Мысль «да ладно, ничего страшного» - самая частая причина утечки. Если сомневаетесь, есть ли в тексте личное, - считайте, что есть, и обезличьте.
• Не полагаться только на regex. Он не ловит имена и нестандартные форматы. Комбинируйте с NER и ручной проверкой.

Как снизить риск

• Обобщайте косвенные данные, а не только убирайте прямые.
• Делайте препроцессинг локально, чтобы сырьё не уходило наружу.
• Всегда перечитывайте результат перед отправкой.