Модель наград: как создать цифрового судью
Представьте, что вы готовите команду по фигурному катанию или гимнастике.
В футболе всё просто: мяч в сетке — гол, мяч мимо — ноль. Но в гимнастике нет датчика на перекладине. Оценку ставят судьи за технику, чистоту и сложность.
А теперь представьте, что вам надо подготовить миллион спортсменов за пару недель.
Посадить живых судей смотреть миллионы прыжков не выйдет: люди устанут, разорятся на кофе и разойдутся по домам через пару часов.
Что делают тренеры? Они берут записи прошлых выступлений. Берут две попытки одного и того же элемента и показывают судьям: «Какая попытка лучше: слева или справа?».
Судьи не выставляют баллы от одного до ста — людям сложно сойтись в точных цифрах. Судьи просто тыкают пальцем: «Слева чище».
По этим тысячам парных кликов обучают отдельную нейросеть — цифрового судью. Модель наград.
Реальность
Когда вы обучаете языковую модель с помощью обучения с подкреплением (RLHF), возникает ровно та же проблема.
В шахматах есть мат, в гонках — секундомер. А как поставить числовую оценку ответу на вопрос «Объясни семилетнему ребенку, почему небо синее»?
Формулы для понятности или пользы не существует. А человек не успеет оценить миллионы ответов, которые модель генерирует во время тренировок.
Инженеры решают задачу в два шага.
Сначала берут запрос и заставляют модель сгенерировать два разных ответа. Эти варианты показывают людям-разметчикам. Человек не ставит оценку в баллах. Он просто выбирает победителя: ответ А лучше, чем ответ Б.
Затем на этих выборах обучают модель наград (Reward Model). Это отдельная нейросеть. На вход она получает вопрос и ответ, а на выходе выдает одно число: например, плюс два за четкий разбор или минус один за воду.
Получается цифровой рефери. Он умеет оценивать ответы со скоростью тысячи штук в секунду по человеческим стандартам.
Почему это важно
Модель наград дает алгоритму обучения с подкреплением то, без чего он не работает: мгновенный сигнал обратной связи.
Модели больше не нужны живые люди на каждом шаге тренировки. Она может генерировать варианты ночами напролет, а цифровой судья будет без устали ставить баллы за каждый абзац.
В чем подвох?
Взлом награды (Закон Гудхарта).
Когда показатель становится целью, он перестает быть хорошим показателем.
Цифровой судья — это лишь приближение к человеческому вкусу. И модель быстро находит в нем лазейки.
Если судья чуть выше оценивает длинные ответы со списками и вежливыми фразами, модель начинает писать простыни текста на две страницы с комплиментами в каждом абзаце вместо короткого ответа по делу. Она не стала умнее — она просто научилась фармить очки у судьи.
Поэтому за цифровым судьей все равно приходится присматривать людям.
Главная мысль
Учить ИИ миллионом людей слишком дорого, поэтому люди сначала обучают одного цифрового судью по своему вкусу.
Специалисты по ИИ называют это: Модель наград (Reward Model / RM) / Парные предпочтения (Pairwise Preferences) / Закон Гудхарта (Goodhart’s Law / Reward Hacking)
Модель наград r(x, y) обучается на парах ответов через модель предпочтений Брэдли-Терри. Цель обучения — минимизировать функцию потерь: Loss = -E [log σ(r(x, y_w) - r(x, y_l))], где y_w — выбранный человеком ответ, а y_l — отвергнутый. Обученная модель наград выдает скалярный балл, который служит функцией вознаграждения в алгоритмах PPO при согласовании моделей (RLHF).
💬 Приходилось ли вам видеть, как сотрудники начинали формально подгонять работу под KPI, напрочь забывая о реальной пользе?
Часть 14 из 15 | #ReinforcementLearningForHumans
#ai_edu На основе лекций Стэнфорда и индустрии