Обучение ИИ на «законном интересе»: что предлагает Omnibus, почему регуляторы против и что это значит для тех, кто дообучает модели на данных клиентов
Любая компания, накопившая за пять лет архив обращений в техподдержку, записей звонков отдела продаж и заявок клиентов, рано или поздно задается вопросом: можно ли дообучить внутреннюю языковую модель на этих логах, не собирая отдельное согласие у двух миллионов пользователей?
В ходе обсуждений пакета Digital Omnibus и разъяснений Европейского совета по защите данных (EDPB) отраслевые ассоциации предложили закрепить Статью 6(1)(f) GDPR — «законный интерес» (legitimate interest) в качестве стандартного основания для обучения и дообучения моделей на пользовательских данных.
Для продакт-менеджеров «законный интерес» звучит как разрешение обучать модели без согласия клиентов. На практике опора на Статью 6(1)(f) без перестройки конвейера подготовки данных и весов создает риск, при котором регулятор может потребовать полного удаления рабочей модели в течение сорока восьми часов.
Почему регуляторы против: у градиентного спуска нет команды DELETE
Чтобы законно использовать Статью 6(1)(f) GDPR, компания обязана пройти трехступенчатую проверку (balancing test):
- Проверка цели: есть ли у компании конкретный законный интерес для обучения модели?
- Проверка необходимости: действительно ли для достижения этой цели нужны исходные персональные данные, или модель покажет сопоставимую точность на анонимизированных или синтетических выборках?
- Баланс прав: не перевешивают ли права пользователя коммерческий интерес компании, и может ли человек в любой момент воспользоваться правом на возражение (Статья 21) и правом на удаление данных (Статья 17)?
Европейские надзорные органы — французский CNIL, итальянский Garante и немецкие регуляторы — разворачивают корпоративные ИИ-системы именно на втором и третьем пунктах.
В реляционной базе данных выполнение запроса по Статье 17 сводится к одной транзакции: DELETE FROM support_tickets WHERE user_id = 4092.
В дообученной нейронной сети градиентный спуск распределяет статистический след переписки пользователя 4092 по миллиардам весов с плавающей запятой. Выполнить SQL-запрос к файлу .safetensors, чтобы вырезать диалог одного клиента, невозможно. А тесты на запоминание данных (memorization attacks) регулярно показывают, что модели, дообученные на неочищенных логах, при подборе префикса воспроизводят дословные номера телефонов, реквизиты счетов и детали договоров.
Если клиент требует удалить свои данные — или если регулятор признает, что использование исходных персональных данных не было необходимым, — а эти записи уже запечены в монолитный чекпоинт модели, правовое основание рассыпается. Надзорный орган вправе предписать уничтожение весов модели.
Прохождение теста на необходимость: шлюз очистки до обучения
Надежный способ пройти проверку по Статье 6(1)(f) — гарантировать, что прямые идентификаторы клиентов вообще не попадают в оптимизатор при обучении.
Если задача состоит в том, чтобы научить модель разбирать претензии по счетам или классифицировать страховые случаи, модели нужна структурная логика диалога, а не фамилия клиента, номер IBAN или домашний адрес.
Перед тем как лог диалога попадет в обучающую выборку, он должен пройти через детерминированный шлюз очистки, который заменяет идентификаторы типизированными токенами с сохранением связности текста:
import hashlib
import re
from dataclasses import dataclass
from typing import Dict
@dataclass
class SanitizedTrainingSample:
sample_id: str
source_ticket_hash: str
sanitized_text: str
pii_tokens_removed: int
consent_verified: bool
class TrainingCorpusSanitizer:
def __init__(self, salt: str):
self.salt = salt.encode("utf-8")
self.patterns = {
"EMAIL": re.compile(r"\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}\b"),
"IBAN": re.compile(r"\b[A-Z]{2}\d{2}[A-Z0-9]{11,30}\b"),
"PHONE": re.compile(r"\b\+?[1-9]\d{1,14}\b"),
"IPV4": re.compile(r"\b(?:\d{1,3}\.){3}\d{1,3}\b"),
}
def _deterministic_placeholder(self, entity_type: str, raw_value: str) -> str:
"""Генерирует стабильный токен внутри документа без сохранения исходных ПДн."""
digest = hashlib.hmac.new(
self.salt, raw_value.encode("utf-8"), hashlib.sha256
).hexdigest()[:6]
return f"<{entity_type}_{digest}>"
def scrub_record(
self, ticket_id: str, raw_text: str, user_opted_out: bool
) -> SanitizedTrainingSample:
if user_opted_out:
raise PermissionError(f"Тикет {ticket_id} исключен по отказу пользователя (Статья 21 GDPR).")
scrubbed = raw_text
removed_count = 0
for entity_type, pattern in self.patterns.items():
matches = pattern.findall(scrubbed)
for match in set(matches):
placeholder = self._deterministic_placeholder(entity_type, match)
scrubbed = scrubbed.replace(match, placeholder)
removed_count += 1
ticket_hash = hashlib.sha256(ticket_id.encode("utf-8")).hexdigest()
return SanitizedTrainingSample(
sample_id=f"train_{ticket_hash[:12]}",
source_ticket_hash=ticket_hash,
sanitized_text=scrubbed,
pii_tokens_removed=removed_count,
consent_verified=True,
)
Когда адрес [email protected] во всех репликах диалога заменяется на <EMAIL_8f9a2c>, модель усваивает паттерн решения проблемы со счетом, но никогда не видит и не запоминает реальные данные клиента.
Архитектурное разучивание: изолированные LoRA-адаптеры
Регулярные выражения закрывают структурированные идентификаторы, но свободный текст тикетов все равно может содержать косвенные признаки клиента. Как выполнить требование Статьи 17 об удалении данных без переобучения базовой модели с нуля?
Отказаться от модификации весов базовой модели.
Вместо полного дообучения (full fine-tuning) на едином массиве данных инженерные команды замораживают базовую модель и обучают изолированные адаптеры Low-Rank Adaptation (LoRA), разделенные по корпоративным клиентам (тенантам) или временным окнам:
[Замороженная базовая модель: Qwen-2.5-72B / Llama-3.3-70B (Только чтение)]
│
├──► [LoRA-адаптер: Tenant_A_2026_Q3.safetensors (48 МБ)]
├──► [LoRA-адаптер: Tenant_B_2026_Q3.safetensors (48 МБ)]
└──► [LoRA-адаптер: Core_Synthetic_Distilled.safetensors (48 МБ)]
К каждому адаптеру привязывается манифест происхождения, фиксирующий хеши всех записей, участвовавших в его обучении:
import time
from dataclasses import dataclass
from typing import List
@dataclass
class AdapterLineageManifest:
adapter_id: str
base_model_digest: str
created_at_utc: float
tenant_id: str
training_sample_hashes: List[str]
status: str = "ACTIVE"
class ErasableAdapterRegistry:
def __init__(self):
self.manifests: Dict[str, AdapterLineageManifest] = {}
def register_adapter(
self, adapter_id: str, base_digest: str, tenant_id: str, sample_hashes: List[str]
):
self.manifests[adapter_id] = AdapterLineageManifest(
adapter_id=adapter_id,
base_model_digest=base_digest,
created_at_utc=time.time(),
tenant_id=tenant_id,
training_sample_hashes=sample_hashes,
)
def process_erasure_request(self, revoked_ticket_id: str) -> List[str]:
"""Находит все LoRA-адаптеры, обученные на отозванной записи, и помечает их на пересборку."""
target_hash = hashlib.sha256(revoked_ticket_id.encode("utf-8")).hexdigest()
invalidated_adapters = []
for adapter_id, manifest in self.manifests.items():
if target_hash in set(manifest.training_sample_hashes):
manifest.status = "REVOKED_PENDING_RETRAIN"
invalidated_adapters.append(adapter_id)
return invalidated_adapters
Когда пользователь или корпоративный заказчик подает запрос на удаление данных по Статье 17 или возражение по Статье 21:
- Реестр за миллисекунды проверяет, входит ли хеш записи в
training_sample_hashesактивных адаптеров. - При совпадении отключается и ставится на двадцатиминутную пересборку только конкретный LoRA-адаптер весом 48 МБ без участия отозванного тикета.
- Замороженная базовая модель и адаптеры остальных клиентов продолжают работать без простоев.
Проектирование с расчетом на отзыв данных
Поправки Digital Omnibus учитывают, что европейскому бизнесу нужны рабочие механизмы обучения моделей на операционных данных. Регуляторы готовы принимать «законный интерес» как правовое основание — но только тогда, когда инженеры могут доказать минимизацию данных и техническую возможность удалить след конкретного пользователя из обученной системы.
Подход, при котором клиентские базы целиком загружаются в монолитный чекпоинт без возможности отката, не пройдет первую же проверку по Статье 17.
Отделяйте базовую модель от клиентских адаптеров, вырезайте идентификаторы до токенизации и храните криптографическую карту каждой выборки, попадающей в цикл обучения.
Когда ваша команда дообучает модели или собирает датасеты на основе рабочих логов, как вы отслеживаете, какие именно пользовательские записи попали в конкретный чекпоинт?