Отказ эксперта как тест: почему ошибки, найденные людьми, — самый ценный актив ИИ-системы в регулируемой области
Корпоративный ассистент по комплаенсу набирает 97,4% точности на закрытом тестовом наборе. Все графики перед релизом горят зеленым цветом.
Через две недели работы в европейском департаменте андеррайтинга старшие риск-офицеры начинают отклонять почти каждую пятую рекомендацию системы. Когда модель одобряет контрагента из-под санкционного фильтра или пропускает исключение по налоговой льготе, специалист удаляет вывод ИИ, вписывает вердикт вручную и закрывает задачу.
Большинство команд относится к таким правкам как к рабочему шуму — если вообще их сохраняет. В базу записывается только итоговое решение человека, а отвергнутая подсказка алгоритма бесследно пропадает.
Эти отброшенные ошибки на самом деле представляют собой самый ценный набор данных во всей системе.
Почему чистые бенчмарки обманывают в продакшене
У синтетических проверочных наборов есть системный изъян: их собирают инженеры, оглядываясь на уже разобранные кейсы. Они измеряют, как модель справляется с чистыми примерами, где правильный ответ однозначен.
Работа в регулируемых отраслях ЕС устроена на пограничных случаях.
Статья 14 Европейского закона об ИИ (AI Act) обязывает обеспечивать человеческий надзор (Human Oversight) для систем высокого риска: оператор должен контролировать работу алгоритма, замечать сбои и отменять машинные решения. В сочетании со Статьей 9 по управлению рисками компании не могут просто поставить человека перед кнопкой «Подтвердить». Нужно доказать, что контроль реально корректирует ошибки алгоритма.
Каждый раз, когда штатный юрист или аудитор отменяет рекомендацию ИИ, он находит слепое пятно модели, которое пропустили предрелизные метрики:
- Скрытое исключение в сноске отраслевого регламента;
- Двойное отрицание в муниципальном контракте;
- Расхождение между национальным законодательством страны ЕС и общей директивой.
Статические бенчмарки проверяют то, что команда уже знает. Отказы экспертов фиксируют то, что ломается в реальной работе.
Анатомия события отклонения
Обычная кнопка «палец вниз» не дает разработчикам ничего полезного. Информация о том, что три дня назад юристу не понравился ответ, не помогает исправить поиск или промпт.
Когда эксперт отклоняет решение в регулируемом процессе, интерфейс обязан зафиксировать структурированную карточку инцидента до закрытия задачи:
{
"override_id": "ovr_20261111_9921",
"trace_id": "tr_88a71b",
"model_version": "eu-compliance-v2.4-fp8",
"context_chunk_hashes": ["sha256:9f8e...", "sha256:4a12..."],
"rejected_output": "Одобрено по исключению Статьи 6.",
"expert_correction": "Отклонено: подпункт 2(b) исключает дочерние муниципальные энергокомпании.",
"reason_code": "STATUTORY_EXCEPTION_MISSED",
"reviewer_role": "Старший юрист по комплаенсу"
}
Четыре поля превращают эту запись в рабочий инструмент:
- Снимок контекста и фрагментов: нужны точные чанки из базы знаний, которые сбили модель с толку, а не просто текст вопроса.
- Справочник причин (reason codes): единые коды (
RETRIEVAL_MISS,EXCEPTION_IGNORED,HALLUCINATED_CITATION,STALE_REGULATION) позволяют агрегировать сбои. - Каноническая правка эксперта: текст правильного ответа от аудитора сразу дает готовую эталонную разметку.
- Неизменяемая связь для аудита: этот же лог доказывает регулятору соблюдение Статьи 14 — люди действительно проверяют и поправляют модель.
Превращение ошибок в регрессионные автотесты
Как только карточки отказов попадают в хранилище логов, самую быструю отдачу дает метод добычи сложных негативных примеров (Hard Negative Mining) для пайплайна CI/CD.
Каждое подтвержденное отклонение аудитора автоматически превращается в обязательный детерминированный тест перед выкаткой новых версий:
import pytest
def evaluate_regression_suite(pipeline, override_records):
failures = []
for record in override_records:
# Повторный прогон точного запроса и изолированного снимка контекста
result = pipeline.run(
query=record["query"],
context_chunks=record["context_chunks"]
)
# Проверка, что модель больше не повторяет старую ошибку
if matches_rejected_pattern(result, record["rejected_output"]):
failures.append({
"override_id": record["override_id"],
"expected": record["expert_correction"],
"got": result
})
assert len(failures) == 0, f"Обнаружена регрессия на {len(failures)} правках экспертов"
Когда инженер корректирует системный промпт, меняет пороги ранжирования в поиске или обновляет квантованные веса базовой модели, билд обязан пройти всю историю реальных отказов экспертов.
Если новый промпт на 3% лучше отвечает на общие вопросы, но возвращает юридическую ошибку, пойманную аудитором четыре месяца назад — сборка блокируется до попадания в продакшн.
Дообучение через DPO прямо на логах продакшена
Отклонения экспертов решают и самую дорогую проблему при дообучении: поиск размеченных пар предпочтений.
Для стандартного выравнивания моделей приходится нанимать внешних разметчиков. Но в налоговом праве, фармакологии или кредитном скоринге недорогие ассессоры с улицы не способны отличить тонкую юридическую ошибку от правдоподобного текста.
Ваши внутренние аудиторы генерируют эталонные обучающие пары естественно, в рамках своей ежедневной работы. Каждая правка формирует готовую тройку данных:
Промпт (x) ──► Запрос + извлеченные фрагменты регламента
Предпочтительный ответ ──► Выверенная юридическая правка эксперта
Отклоненный ответ ──► Правдоподобная ошибка или пропуск модели
Собрав за квартал всего от 500 до 1500 подтвержденных правок, команда запускает легковесную прямую оптимизацию предпочтений (DPO) поверх LoRA-адаптера:
from trl import DPOTrainer, DPOConfig
# Обучающие пары собраны напрямую из логов исправлений аудиторов
# формат датасета: {"prompt": x, "chosen": expert_fix, "rejected": model_error}
dpo_config = DPOConfig(
beta=0.1,
learning_rate=5e-6,
per_device_train_batch_size=4,
num_train_epochs=3,
output_dir="./eu-compliance-dpo-adapter"
)
trainer = DPOTrainer(
model=base_model,
args=dpo_config,
train_dataset=override_preference_dataset,
tokenizer=tokenizer
)
trainer.train()
В отличие от обычного дообучения на примерах, DPO целенаправленно увеличивает математический разрыв вероятности между формулировкой юриста и конкретной прошлой ошибкой модели. Алгоритм учится избегать именно тех ловушек формулировок, на которых спотыкался в реальной среде.
Замкнутый контур инженерного комплаенса
На зрелом проекте иерархия оценки качества переворачивается:
[Входящий кейс]
│
▼
[Вывод модели] ──► [Проверка экспертом]
│
┌────────────────┴────────────────┐
▼ Одобрено ▼ Отклонено
[Лог аудита: ОК] [Структурированный лог ошибки]
│
┌──────────────────────┴──────────────────────┐
▼ ▼
[Регрессионный тест в CI/CD] [Квартальный DPO-адаптер]
Инспекторы по AI Act относятся с большим подозрением к системам, где процент отмен человеком равен нулю: отсутствие споров с машиной почти всегда говорит о бездумном нажатии кнопки «Одобрить», а не о высокой надежности модели.
Напротив, пайплайн, который фиксирует каждое расхождение, превращает ошибку в защитный автотест и перекалибровывает веса по итогам реальных проверок, доказывает работающую систему безопасности на уровне архитектуры.
Ошибки, найденные людьми, — это не признак провала вашей ИИ-системы. Незафиксированные ошибки — вот реальный провал.
Когда ваши специалисты сегодня исправляют или отменяют ответ ИИ-помощника, превращается ли это исправление в обязательный тест перед следующим деплоем — или просто оседает в базе аналитики?