Самообучение без учителя: Подмастерье-самоучка
Подмастерье хочет овладеть искусством живописи, но над его душой не стоит строгий мастер. Он берет готовый, безупречный свиток с пейзажем. Затем он ставит большую кляксу черной туши прямо посередине, полностью скрывая часть горы. После этого он берет кисть и пытается нарисовать недостающий фрагмент по памяти так, чтобы он идеально сливался с остальной картиной.
Закончив, он стирает свою работу, чтобы увидеть оригинальную живопись под ней. Он сравнивает свою попытку с истинным шедевром. Если вышло плохо, он корректирует свою технику. Если хорошо — переходит к скрытию другой части свитка. Он стал своим собственным учителем.
Реальность
В машинном обучении этот процесс называется самообучением (Self-Supervised Learning).
Исторически сложилось так, что искусственному интеллекту требовались люди, чтобы кропотливо размечать каждый элемент обучающих данных (например, «это гора», «это дерево»). Это называется обучением с учителем, и это невероятно медленно и дорого.
Но генеративным моделям нужно учиться на всем интернете. Мы физически не можем разметить всё. Вместо этого мы даем модели полные данные — например, предложение или изображение — и искусственно скрываем их часть. Задача модели — предсказать, чего не хватает. Сами данные и предоставляют правильный ответ (то есть выступают в роли «учителя»).
Почему это важно
Этот простой трюк — секретный двигатель современного бума нейросетей. Поскольку модели могут автоматически проверять свои догадки, сравнивая их со скрытым оригиналом, они могут обучаться на миллиардах неразмеченных книг, статей и изображений без участия человека. Они самостоятельно постигают структуру человеческого языка и визуальные законы реального мира.
Главная мысль
Скрывая части мира и угадывая, чего не хватает, ИИ становится своим собственным мастером.
Специалисты по ИИ называют это: Self-Supervised Learning (SSL)
SSL — это парадигма обучения, при которой модели генерируют собственный контролирующий сигнал из неструктурированных данных (обычно предсказывая скрытые или будущие части входных данных), что устраняет необходимость в дорогих датасетах с ручной разметкой.
💬 Если бы вам пришлось осваивать совершенно новый навык без учителя, в какую игру «спрячь и угадай» вы бы сыграли с самим собой?
Часть 3 из 14 | #GenerativeModelsForHumans
#ai_edu На основе лекций Стэнфорда и индустрии