21 тип персональных данных: как открытый бенчмарк PII меняет правила игры для AI-ассистентов

Инженерная проблема

Есть задача - пропустить текст через языковую модель. Текст может быть чем угодно: протокол совещания, переписка в чате, голосовое сообщение после транскрибации. Внутри - имена, телефоны, адреса, номера документов. Всё это попадает в контекст модели, в логи, в векторную базу данных для поиска.

Регулярные выражения не справляются. Нужны модели, которые понимают контекст. Но как выбрать правильную модель? Как измерить её качество именно на русском языке? До недавнего времени - никак. Открытых бенчмарков для русского языка не было.

Что произошло

Женя Андриевская, NLP-инженер из R&D red_mad_robot, опубликовала на Hugging Face открытый бенчмарк для детекции персональных данных в русском тексте. Это первый масштабный датасет, который покрывает 21 тип ПДн - от ФИО и адресов до СНИЛС, ИНН, банковских карт и военных билетов.

Датасет состоит из двух частей. Первая - синтетически сгенерированные данные в формате документов. Вторая - реальные примеры из продакшен-логов, где персональные данные заменены на синтетику. Важная деталь: внутри есть сложные пограничные кейсы и опечатки. Это не идеально чистый корпус, а именно грязные данные, с которыми сталкиваются в реальности.

Разметка выполнена в стандарте BIO (Begin, Inside, Outside) - каждый токен помечен как начало сущности, продолжение или не-сущность. Часть разметки сделана вручную, часть - с помощью языковых моделей. В карточке датасета описана таксономия сущностей и протокол оценки, а ещё - результаты популярных открытых моделей для сравнения.

Почему это важно для AI-ассистентов

AI-ассистент руководителя - это система, которая обрабатывает конфиденциальные данные непрерывно. Протоколы совещаний содержат ФИО участников, их должности, телефоны. Переписка из чата содержит имена, адреса, договорённости. Голосовые сообщения после транскрибации - полный набор ПДн в неструктурированном тексте.

Без детекции PII эти данные утекают в три места одновременно. Первое - контекст языковой модели, где они сохраняются в истории сессии. Второе - логи сервера, которые могут быть доступны администраторам. Третье - векторная база данных для поиска по документам (RAG), где чанки с ПДн сохраняются на неопределённый срок.

В России это не просто плохая практика - это нарушение Федерального закона №152-ФЗ "О персональных данных". Для Enterprise-клиентов (органы государственной власти, крупные компании) наличие сертифицированных средств защиты ПДн - обязательное требование. Без него нельзя подписать договор об обработке данных (DPA).

Как классическая практика решает эту задачу

В классической разработке есть устоявшийся подход: защитный слой на границе системы. Не пропускать чувствительные данные дальше периметра. В контексте AI-ассистента это означает два рубежа.

Output guardrails - проверка ответа модели перед показом пользователю. Модель может восстановить ПИ из контекста или сгенерировать их на основе паттернов. Выходной фильтр ловит и маскирует такие случаи.

Бенчмарк позволяет выбрать модель для каждого рубежа и измерить её качество. Какие типы PII она ловит, какие пропускает, как ведёт себя на пограничных кейсах и опечатках. Без бенчмарка выбор модели - это гадание на кофейной гуще.

Что внутри бенчмарка

Датасет покрывает четыре группы персональных данных.

ФИО - имя, фамилия, отчество. Самая частая категория в деловом тексте. Сложность в том, что инициалы, сокращения и порядок слов варьируются.

Адресная иерархия - шесть уровней: страна, регион, город, район, улица, дом. Англоцентричные детекторы плохо работают с русскими адресами, особенно с неполными и неформальными записями.

Контакты - email, телефон, URL, IP-адрес. Телефон - самый сложный тип из-за множества форматов записи.

Документы - восемь типов: паспорт, СНИЛС, ИНН, ОМС, банковская карта, водительское удостоверение, военный билет, свидетельство о рождении. Критичная категория для ФЗ-152.

Формат разметки - BIO. Это стандарт для задач именованного распознавания сущностей (NER). Каждый токен получает метку: начало сущности, продолжение или не-сущность. Формат не покрывает вложенные сущности - например, "Иванов И.И.", где "И.И." одновременно является частью ФИО и инициалами. Это ограничение, о котором нужно помнить при интерпретации результатов.

Ограничения, о которых нужно знать

Бенчмарк - это инструмент, не истина в последней инстанции. Три ограничения, которые стоит учитывать.

Первое - разметка частично выполнена языковой моделью. Это значит, что возможны систематические ошибки: модель-разметчик может стабильно пропускать определённые типы PII или неправильно определять границы сущностей. Рекомендуется валидация на ручной выборке.

Второе - синтетические данные могут не покрывать все паттерны реальных данных. Нестандартные форматы телефонов, опечатки в ИНН, неформальные адреса - всё это может быть представлено не в полной мере.

Третье - BIO-формат не поддерживает вложенные сущности. Для задач, где это критично, потребуется расширенная разметка.

Что делать конкретно

Если вы разрабатываете AI-ассистента или любую систему, обрабатывающую русскоязычный текст с ПДн, вот практический план.

Шаг 1. Протестируйте текущий стек (если есть PII-детектор) на этом бенчмарке. Получите baseline: precision, recall, F1 по каждой категории. Без baseline вы не знаете, куда движетесь.

Шаг 2. Сравните две-три открытые модели из карточки датасета. Обратите внимание на критичные для вашего сценария категории. Для делового ассистента это ФИО, телефон, email. Для Enterprise - паспорт, ИНН, СНИЛС.

Шаг 3. Интегрируйте лучшую модель в input/output guardrails. В Hermes Agent это можно сделать через плагин на уровне pre_tool_call хука: детекция и анонимизация до и после вызова модели.

Шаг 4. Задокументируйте уровень защиты PII. Для Enterprise-клиентов это требование для подписания DPA. Бенчмарк даёт вам конкретные цифры: "детектор X ловит 97% ФИО, 94% телефонов, 89% ИНН".

Итог

Открытый бенчмарк для детекции PII на русском языке - это не просто датасет. Это инструмент, который превращает выбор модели из интуитивного процесса в инженерную задачу с измеримыми метриками. Для AI-ассистентов, обрабатывающих конфиденциальные данные, это возможность построить защиту на основе цифр, а не догадок.

Бенчмарк доступен на Hugging Face: https://huggingface.co/datasets/red_mad_robot/pii-detection-benchmark-ru

Карточка датасета содержит таксономию сущностей, протокол оценки и результаты популярных моделей. Тестируйте свои анонимайзеры, сравнивайте, делитесь результатами.