Детерминированные проверки до LLM: почему в комплаенсе модель должна работать последней, а не первой
Команда, разрабатывающая ассистента по нормативному комплаенсу для импортных потребительских товаров, составляет, казалось бы, прямолинейный промпт:
Ты эксперт по европейскому регулированию.
Проверь список ингредиентов, техническую спецификацию и маркетинговые заявления.
Определи, соответствует ли рецептура Регламенту ЕС 1333/2008 и директивам о защите потребителей.
Выведи JSON: {"compliant": true/false, "violations": [...]}
На двадцати стандартных этикетках система отрабатывает чисто. Руководство заявляет об успешной автоматизации юридической проверки.
Через три недели в продакшене партия кондитерских изделий с диоксидом титана (E171) получает статус compliant: true. Модель выдает аккуратное обоснование, ссылаясь на исторические приложения регламента по пищевым красителям.
Проблема в том, что диоксид титана полностью запрещен к применению в продуктах питания на территории ЕС еще в 2022 году регламентом (EU) 2022/63.
Модель не выполнила математический расчет и не сверилась с официальной базой запретов. Она выбрала токены на основе распределения вероятностей из терабайтов текстов до 2022 года, где E171 упоминался как стандартная добавка тысячи раз.
Доверять вероятностной модели проверку жестких законодательных рамок — ошибка. Но и полностью лишать модель аналитических задач — столь же близоруко.
Инженерная задача состоит в том, чтобы точно разграничить: где обязан работать детерминированный код, а где семантический анализ языковой модели незаменим.
Две крайности: Модель-судья против Модели-шаблонизатора
Команды автоматизации комплаенса часто мечутся между двумя нежизнеспособными крайностями.
Первая крайность — Модель в роли судьи: скормить неструктурированный документ в промпт и ждать, что нейросеть проверит списки запретов, числовые пороги и даты. Вероятностная модель не вычисляет неравенства и не делает выборки из таблиц; она лишь подбирает статистически правдоподобные продолжения текста. Проверяя, превышает ли диоксид серы лимит в 10 мг/кг, модель легко путает единицы измерения, округления и юрисдикции.
Вторая крайность — Модель в роли шаблонизатора: низвести языковую модель до дорогого оформителя вывода, который лишь перепечатывает результат готового SQL-запроса. Если системе нужно просто вывести строки из таблицы запрещенных веществ, обычный шаблонизатор сделает это без задержки и без затрат на GPU.
Сложность реального комплаенса в том, что законодательство делится на два принципиально разных уровня:
- Жесткие нормативные границы (списки запрещенных компонентов, числовые пороги концентраций, сроки действия лицензий, валидность схем данных).
- Контекстные смысловые условия (функциональное назначение, соответствие маркетинговых заявлений реальности, формулировки исключений, двусмысленные пункты об ответственности).
Детерминированный код идеально справляется с первым уровнем, но слеп ко второму. Языковая модель идеально анализирует второй уровень, но галлюцинирует на первом.
Архитектура: жесткие фильтры первыми, смысловой анализ вторым
В рабочем контуре комплаенса детерминированный код отрабатывает первым, отсекая очевидные нарушения, и освобождает модель для ее ключевой задачи: проверки контекстного смысла.
[Входящая документация]
│
▼
[Этап 1: Детерминированные жесткие фильтры]
├── Валидация схемы данных (Pydantic / JSON Schema)
├── Сверка со списками запрещенных веществ (SQL)
└── Проверка числовых порогов концентрации (MPL)
│
├── Нарушение жестких норм? ──► [Мгновенный FAIL / Отказ]
│
▼ Нормы соблюдены
[Этап 2: Проверка контекстного смысла через LLM]
├── Анализ заявленного функционального назначения
├── Проверка потребительских заявлений (директива Green Claims)
└── Оценка юридической применимости контекстных исключений
│
▼
[Этап 3: Детерминированная проверка цитирования]
├── Сверка цитат с текстом официальных регламентов
└── Пороговый фильтр уверенности и передача человеку
│
▼
[Готовое аудиторское заключение]
Этап 1: Детерминированные жесткие фильтры
До того, как модель потратит хотя бы один токен на размышления, код проверяет однозначные нормы закона.
Если рецептура содержит прямо запрещенное вещество или концентрация превышает числовой предел, пайплайн прерывает обработку:
from pydantic import BaseModel, Field
from typing import List
class IngredientEntry(BaseModel):
name: str
e_number: str | None = Field(default=None, pattern=r"^E\d{3,4}[a-z]?$")
concentration_mg_kg: float | None = None
functional_use: str | None = None # например, "носитель", "консервант"
def evaluate_hard_boundaries(ingredients: List[IngredientEntry], statutory_db):
for item in ingredients:
# Прямая детерминированная проверка запрета
if item.e_number and statutory_db.is_banned(item.e_number):
return {"verdict": "FAIL", "reason": f"{item.e_number} прямо запрещен регламентом."}
# Детерминированная проверка числового порога
if item.e_number and item.concentration_mg_kg:
mpl = statutory_db.get_mpl(item.e_number)
if mpl and item.concentration_mg_kg > mpl:
return {"verdict": "FAIL", "reason": f"Превышен лимит MPL: {mpl} мг/кг."}
return {"verdict": "PASS_TO_SEMANTIC_STAGE"}
Никакая промпт-инъекция или убедительная формулировка не способны обойти этот барьер: жесткие границы зафиксированы в коде.
Этап 2: Смысловой анализ через LLM
После прохождения жестких фильтров документ попадает в серую зону, которую SQL-запросы разобрать не в состоянии: интерпретация контекста.
Примеры из европейской практики:
- Классификация назначения: Добавка может быть ограничена как консервант, но разрешена как технологическое вспомогательное средство или нейтральный носитель. Понять, чем именно выступает вещество в конкретной технологии, требует смыслового анализа описания производственного процесса.
- Маркетинговые заявления: Если на коробке написано «100% натуральный растительный экстракт», а в составе указаны синтетические растворители экстракции, является ли надпись вводящей в заблуждение по нормам директивы EU Green Claims?
- Отраслевые исключения: Распространяются ли специфические оговорки регламента на конкретную категорию продукта?
Здесь подключается языковая модель для смыслового анализа:
def evaluate_semantic_compliance(client, product_dossier, retrieved_statutory_context):
prompt = f"""
Рецептура прошла детерминированные проверки запретов и числовых порогов.
Твоя задача — провести СМЫСЛОВОЙ и КОНТЕКСТНЫЙ анализ:
1. Оцени, соответствует ли заявленное назначение ('functional_use')
реальному технологическому процессу из раздела 4.
2. Проверь, не вводят ли маркетинговые заявления на этикетке
потребителя в заблуждение по нормам директивы Green Claims.
3. Определи, применимы ли заявленные поставщиком отраслевые исключения
к данной категории товара.
Официальные правовые нормы:
{retrieved_statutory_context}
Документация на продукт:
{product_dossier}
Каждый вывод обязан содержать точную дословную цитату из текста правовых норм.
"""
return client.chat.completions.create(
model="gpt-4o",
messages=[{"role": "user", "content": prompt}],
temperature=0.0
)
Модель не гадает, какое число больше. Она использует понимание естественного языка для оценки намерений, соответствия формулировок и контекста по отношению к эталонным правовым источникам.
Этап 3: Детерминированная верификация цитат
Финальный фильтр гарантирует, что смысловой вывод модели привязан к фактам:
- Каждая юридическая цитата в выводе проверяется на точное совпадение с текстом нормативной базы.
- Проверяется отсутствие противоречий с вердиктом жестких фильтров первого этапа.
- При низкой уверенности или двусмысленности формулировок случай отправляется живому эксперту.
Защита перед аудитором по AI Act
По статьям 14 (человеческий надзор) и 15 (точность и устойчивость) Европейского закона об ИИ автоматические системы в зонах повышенного риска подлежат строгому аудиту.
Система, которая целиком доверяет решение комплаенса нейросети, не пройдет проверку из-за непрозрачности и вероятностных сбоев. Система без ИИ окажется беспомощной перед реальными документами из-за обилия контекстных нюансов.
Гибридный пайплайн — где жесткие границы удерживаются кодом, смысл и контекст оцениваются языковой моделью, а результат проверяется цитатным фильтром — дает одновременно математическую надежность и глубину понимания языка.
Детерминированный код держит границы. Модель оценивает смысл.
Где в вашей текущей инфраструктуре комплаенса проходит граница между тем, что проверяется детерминированным кодом, и тем, что отдается на смысловой анализ языковой модели?