Неумолимый инспектор: детерминированные валидаторы и Ready Score
После восьми глав проектирования поискового пайплайна — отбора эмбеддингов, обучения проекционных адаптеров, гибридного поиска BM25 с векторами, переранжирования и иерархического разбора таблиц — система подходит к финалу: формированию официального досье для европейского знака V-Label.
На этом этапе многие разработчики допускают фундаментальную архитектурную ошибку: доверяют языковой модели финальное решение о соответствии.
Модель получает тридцать найденных фрагментов из спецификаций сырья, протоколов испытаний (CoA) и стандартов ISO. Она формирует развернутый отчет:
«Заключение: Рецептура овсяного молока Barista #402 полностью соответствует стандарту ISO 23662:2021. Все эмульгаторы, стабилизаторы и ароматизаторы имеют подтвержденное растительное или минеральное происхождение, а вспомогательные вещества не содержат компонентов животного происхождения».
Директор по качеству видит уверенный текст, подписывает заявку и отправляет документы аудиторам сертификационного центра.
Через три недели приходит отказ с предписанием об устранении нарушений.
В приложении к паспорту сырья в таблице №4 был указан осветлитель: раствор бентонитовой глины (содержит 0.02% фермента лизоцима из яичного белка). Модель зацепилась за слова «бентонитовая глина (природный минерал)», классифицировала вещество как минеральное и пропустила скрытый фермент животного происхождения.
Генеративная модель допустила галлюцинацию соответствия: языковые модели рассчитывают вероятности слов, а не соблюдают законы.
Аналогия с часовым замком хранилища
Представьте бронеавтомобиль, доставляющий наличные в центральное банковское хранилище.
Водитель инкассаторской машины внимателен и профессионален. Он ведет тяжелый грузовик через пробки, объезжает ремонтные работы и держит связь с диспетчером.
Когда машина заезжает в шлюз банка, водитель не решает, когда откроется бронированная дверь сейфа. Замок хранилища механический: пружинный механизм с часовым реле. У этого замка нет интеллекта. Он не умеет водить автомобиль, не разбирает дорожные карты и не реагирует на уговоры. Если циферблат не дошел ровно до отметки 12:00:00, дверь не откроется.
Водителю механический замок может показаться неудобным. В комплаенсе установка строгого механического замка после генеративной модели — единственное условие, при котором система получает юридическую силу.
Инверсия архитектуры: модель извлекает, код принимает решение
Чтобы исключить ложные подтверждения, традиционный пайплайн инвертируют:
Найденный контекст (Стандарты Этапа 1 + Факты Этапа 2)
│
▼
┌────────────────────────────────────────────────────────┐
│ ЭТАП ИЗВЛЕЧЕНИЯ ДАННЫХ В LLM (Типизированная схема) │
│ - Генерация схемы Pydantic │
│ - Привязка находок к точным цитатам документов │
│ - Полный запрет на генерацию итоговых вердиктов │
└────────────────────────────────────────────────────────┘
│
▼
┌────────────────────────────────────────────────────────┐
│ ДЕТЕРМИНИРОВАННЫЕ ШЛЮЗЫ ПРОВЕРКИ (Чистый код) │
│ Шлюз 1: Прямой поиск запрещенных добавок (E / CAS) │
│ Шлюз 2: Регулярные выражения для проверки порогов CoА │
│ Шлюз 3: Проверка криптографических связей и дат │
└────────────────────────────────────────────────────────┘
│
▼
┌────────────────────────────────────────────────────────┐
│ РАСЧЕТ ОЦЕНКИ ГОТОВНОСТИ (SECTION READY SCORE) │
│ Score менее 95% ──► Автоматический дозапрос сырья │
│ Score от 95% ──► Досье подписано и готово к аудиту │
└────────────────────────────────────────────────────────┘
Языковая модель работает исключительно как инструмент структурирования. Ее задача — перевести сырой текст поставщика в типизированную схему данных:
from pydantic import BaseModel, Field
class IngredientFinding(BaseModel):
ingredient_name: str
cas_number: str | None = None
e_number: str | None = None
carrier_substance: str | None = None
stated_origin: str
evidence_quote: str = Field(
description="Точная дословная цитата из паспорта качества поставщика"
)
document_id: str
После заполнения схемы работа генеративной модели завершается. Управление переходит к программным фильтрам, работающим по жестким правилам.
Три детерминированных рубежа защиты
1. Черный список запрещенных добавок
В коде зафиксирован перечень добавок и номеров CAS, запрещенных европейскими регламентами (например, E120 кошениль, E904 шеллак, E913 ланолин, E966 лактитол, CAS 1390-65-4).
Программный валидатор проверяет каждую запись без участия нейросети:
BANNED_ADDITIVES = {
"E120": "Кармин / кошениль (насекомые)",
"E904": "Шеллак (смола насекомых)",
"E913": "Ланолин (жиропот овечьей шерсти)",
"E966": "Лактитол (производное молочной сыворотки)",
}
def validate_prohibited_substances(findings: list[IngredientFinding]) -> list[str]:
violations = []
for item in findings:
code = item.e_number.upper() if item.e_number else ""
if code in BANNED_ADDITIVES:
violations.append(
f"КРИТИЧЕСКИЙ СБОЙ: Запрещенная добавка {code} ({BANNED_ADDITIVES[code]}) "
f"обнаружена в {item.ingredient_name} [Документ: {item.document_id}]"
)
return violations
При обнаружении запрещенного кода пайплайн немедленно останавливает сертификацию. Модель не может обосновать наличие вещества «минимальной концентрацией».
2. Проверка лабораторных порогов через регулярные выражения
Когда регламент требует доказательства отсутствия следов молока ниже порога 0.1 мг/кг по методике ELISA, система проверяет текст регулярными выражениями:
import re
THRESHOLD_PATTERN = re.compile(
r"(?:ELISA|PCR|HPLC|ПЦР|ВЭЖХ)\s*:\s*<\s*(0\.\d+|[0-9]+)\s*(?:mg/kg|мг/кг|ppm)",
re.IGNORECASE
)
def verify_lab_threshold(quote: str, max_allowed_ppm: float = 0.1) -> bool:
match = THRESHOLD_PATTERN.search(quote)
if not match:
return False
value = float(match.group(1))
return value <= max_allowed_ppm
Если в тексте поставщика написано «следы не обнаружены органолептически» вместо указания численного порога аккредитованной лаборатории, валидатор бракует запись.
Расчет метрики Ready Score
Для оценки полноты досье перед отправкой инспекторам система вычисляет показатель готовности раздела — Section Ready Score:
ReadyScore = (w1 * C_CoA + w2 * P_lab + w3 * O_carrier + w4 * A_sanit) / Total_Weight * 100
Где учитываются четыре проверяемых критерия:
C_CoA: наличие действующего заводского паспорта качества (вес: 30)P_lab: соответствие лабораторного протокола численному порогу (вес: 30)O_carrier: подтвержденное растительное происхождение носителей (вес: 25)A_sanit: подписанный акт санитарной обработки общей линии (вес: 15)
def calculate_ready_score(ingredient_data: dict) -> float:
weights = {"has_coa": 30, "lab_passed": 30, "carrier_verified": 25, "sanitization_signed": 15}
total_weight = sum(weights.values())
earned = (
(weights["has_coa"] if ingredient_data["has_coa"] else 0) +
(weights["lab_passed"] if ingredient_data["lab_passed"] else 0) +
(weights["carrier_verified"] if ingredient_data["carrier_verified"] else 0) +
(weights["sanitization_signed"] if ingredient_data["sanitization_signed"] else 0)
)
return (earned / total_weight) * 100
Пороговые правила
- Показатель = 100%: раздел досье получает статус полной готовности к проверке.
- Показатель от 85% до 99%: запускается автоматический точечный дозапрос недостающего документа (например, поиск приложения с протоколом испытаний на казеин).
- Показатель ниже 85%: ингредиент направляется в панель эскалации с четкой задачей для технолога: «В спецификации поставщика отсутствует происхождение носителя».
Полная архитектура системы
За девять глав мы выстроили надежную промышленную архитектуру RAG для задач сертификации:
- Глава 1: Почему базовые LLM проваливают краш-тест на сложных рецептурах.
- Глава 2: Геометрия ингредиентов и слепота косинусного сходства к отрицаниям.
- Глава 3: Ансамбль из 5 моделей эмбеддингов для химических спецификаций.
- Глава 4: Проекционный адаптер на 56 МБ для выравнивания локальных моделей.
- Глава 5: Гибридный поиск BM25 и векторов через формулу RRF.
- Глава 6: Кросс-энкодер для проверки скрытых оговорок в примечаниях.
- Глава 7: Двухэтапный RAG с разделением стандартов и лабораторных фактов.
- Глава 8: Иерархический чанкинг для сохранения табличной структуры рецептур.
- Глава 9: Детерминированные валидаторы и расчет оценки Ready Score.
Перенос ответственности за финальный вердикт с вероятностной языковой модели на строгий программный код превращает систему из генератора текстов в инструмент доказательного комплаенса.
На этом серия Engineering RAG for Humans завершена. Впереди новый тематический блок — EU Digital Omnibus и AI Act: разбор европейских законов об искусственном интеллекте, требования к суверенным локальным моделям и проверяемые цепочки принятия решений.
Какие детерминированные проверки вы используете после генерации ответов LLM, чтобы исключить галлюцинации в ответственных процессах?