Оптимизация пикселей: Идеальная маскировка
Скелет-художник хочет написать портрет черной кошки, который заставит механическую сову-охранника увидеть золотистого ретривера. Обычный художник попытался бы пририсовать висячие уши. Но наш мастер — математик: он оставляет силуэт кошки неизменным, но берет тончайшую кисть из одного волоска для микроскопических мазков. Он меняет оттенки отдельных волокон холста менее чем на один процент. Каждым движением кисти он оптимизирует рисунок так, чтобы вызвать максимальный сбой в датчиках совы.
Для человека на холсте по-прежнему черная кошка. Но для совы оптимизированные пиксели складываются в идеального ретривера.
Сценарий
Когда мы обучаем нейросеть, мы держим картинки неизменными и настраиваем внутренние коэффициенты модели (веса), чтобы минимизировать её ошибки.
Но когда злоумышленник хочет взломать готовую модель, он делает всё с точностью до наоборот.
Реальность
Этот метод называется оптимизацией в пространстве пикселей (или атакой на входные данные).
Атакующий замораживает веса модели, чтобы они не могли измениться. Он отправляет изображение в сеть и вычисляет градиент потерь — но использует его не для настройки модели, а для изменения самих пикселей картинки. Входные пиксели рассматриваются как параметры, которые можно улучшать с помощью градиентного спуска. Повторяя этот цикл многократно, взломщик буквально вытачивает искажения, которые переводят пиксели за границы решений модели.
Защита
Чтобы взломщики не могли математически подгонять пиксели под ваши модели зрения, используйте следующие меры:
- Рандомизация ввода: случайным образом меняйте размер, обрезайте края или немного поворачивайте картинку перед отправкой в ИИ. Атака рассчитывается под строго фиксированную сетку пикселей, поэтому любое случайное смещение ломает её структуру.
- Квантование пикселей: снижайте глубину цвета входящих изображений (например, с 24-битного цвета до 8-битного). Это округляет мелкие цветовые сдвиги, стирая точные значения, рассчитанные атакующим.
Главное
Если позволить взломщику оптимизировать пиксели на входе, он создаст невидимую маску, которая заставит вашу модель увидеть что угодно. Никогда не отправляйте в ИИ сырые, необработанные данные.
Специалисты называют это: Input Space Optimization / Pixel-level Attack (Оптимизация пространства ввода / Пиксельная атака) При оптимизации пространства ввода атакующий замораживает веса модели и использует градиентный спуск, чтобы напрямую изменить пиксели изображения для максимизации ошибки (или перевода в конкретный неверный класс). Защита строится на рандомизации ввода (масштабирование, обрезка) и квантовании пикселей для разрушения точной структуры состязательного шума.
💬 Пытались ли вы когда-нибудь настроить что-то настолько ювелирно, что в итоге только всё испортили? Что это было?
Часть 5 (Оптимизация пикселей) из 8 | #AdversarialRobustnessForHumans #ai_edu На основе исследований в области безопасности ИИ