Тонкая настройка с учителем: как модель учат помогать
В команду берут шестнадцатилетнего снайпера.
В одиночку парень разносит всех. Но на первой же тренировке пять на пять начинается бардак: он лезет под пули, орет в микрофон и не слушает капитана. Стрелять умеет, играть в команде — нет.
Тренер сажает его рядом и включает реплей: — Слышишь шаги? Говоришь: «Двое на длине», бросаешь дым и держишь угол. Повторяй.
Парень повторяет раунд пятьдесят раз, пока руки сами не делают то, что нужно.
Через такой же лагерь проходит каждая языковая модель.
Реальность
Базовая модель прочитала весь интернет. Она знает физику, историю и код на Python. Но она не знает, что от нее ждут пользы.
Для нее любой текст — это игра: угадай следующее слово.
Напишите ей: «Найди ошибку в коде». Она может помочь, а может выдать язвительный комментарий с форума или ссылку на рекламу. В интернете после вопроса о коде спорят чаще, чем дают ответ. Модель не видит разницы, она просто дописывает текст.
Чтобы научить модель диалогу, используют SFT — обучение с учителем (Supervised Fine-Tuning).
Ей показывают тысячи диалогов: «Человек спросил — специалист ответил по делу». Ошибку считают только по тексту ответа. Модель быстро перенимает тон и начинает отвечать как коллега, а не аноним из комментариев.
Почему это важно
В 2023 году исследователи из Meta выпустили статью LIMA. Они показали: чтобы модель заговорила как ассистент, хватает всего тысячи примеров диалогов.
Она не учит физику или право за эту тысячу пар. Знания уже заложены. Настройка просто дает ей форму игрока и задает формат общения.
В чем подвох?
Ловушка подражания.
Модель копирует людей со всеми их слабостями.
Авторы примеров всегда писали ответы уверенно. В данных почти нет фраз «Я не знаю» или «В вопросе ошибка».
Поэтому модель копирует интонацию эксперта. Если она не знает ответа, она с тем же видом придумывает факты. Она копирует манеру, а не правду.
Чтобы выйти за этот потолок, копирования мало. Модели нужна среда, где она пробует решения, получает оценки и учится на ошибках. Для этого используют модель наград и обучение с подкреплением.
Главная мысль
Подражание учит модель манерам, но слепое копирование упирается в чужие ошибки.
Специалисты по ИИ называют это: Обучение с учителем (Supervised Fine-Tuning / SFT) / Инструктивный тюнинг (Instruction Tuning) / Гипотеза поверхностного выравнивания (Superficial Alignment Hypothesis)
SFT дообучает модель на парах «запрос — ответ». Ошибку считают только по токенам ответа: Loss = -Σ log P(y_t | x, y_<t). Согласно гипотезе поверхностного выравнивания, модель берет знания из предварительного обучения, а SFT лишь задает формат диалога.
💬 Перенимали ли вы привычки наставника, повторяя за ним и полезные приемы, и ошибки?
Часть 13 из 15 | #ReinforcementLearningForHumans
#ai_edu На основе лекций Стэнфорда и индустрии