Временная петля: Переживать одну ошибку, пока не выживешь
Вы собрали двигатель. Вы поместили его в симулятор. Он разбился 10 000 раз, научился уворачиваться от цифровых астероидов и, наконец, прошел тестовый прогон. Вы достаете его, ставите на настоящий корабль и отправляетесь в полет.
Он немедленно врезается в космическую станцию.
Добро пожаловать во временную петлю.
Сценарий
Вы застряли во временной аномалии. Каждый раз, когда корабль разбивается, время сбрасывается. Вы снова стоите в ангаре и смотрите на двигатель.
Вы не можете просто сказать двигателю «стань лучше». Вам нужно что-то изменить в настройках до того, как начнется следующий виток петли. Нужен ли вам двигатель побольше (больше мощности)? Вы залили испорченное топливо (плохие данные)? Или в симуляторе просто не было космических станций на тренировочных трассах (неполное покрытие данных)?
Вы меняете топливную смесь. Сбрасываете часы. Снова отправляете двигатель в симулятор. Тестируете. Авария. Сброс. Меняете размер двигателя. Тренировка. Тест. Авария. Сброс.
Реальность
В глубоком обучении (Deep Learning) это называется фазой итераций.
Модель почти никогда не работает правильно после первого полного цикла обучения. Она может идеально справляться с данными, которые вы ей скормили, но полностью провалиться, столкнувшись с чем-то новым (переобучение). Или она может просто ужасно справляться со всем подряд (недообучение).
Когда это происходит, вы не выбрасываете модель. Вы итерируете. Вы меняете гиперпараметры — те самые ручки и тумблеры, которые вы настраивали до начала обучения, — или возвращаетесь за новыми данными, а затем обучаете ее заново.
Почему это важно
Машинное обучение — это фундаментально эмпирическая наука. Вы не можете заранее рассчитать идеальную архитектуру и настройки, которые понадобятся вашей модели, до того как построите ее. Вы должны провести эксперимент, понаблюдать за провалом, сформулировать гипотезу о его причинах, изменить переменные и запустить процесс снова.
Скорость разработки ИИ измеряется не тем, насколько быстро вы все сделаете правильно с первого раза. Она измеряется тем, насколько быстро вы можете проходить этот цикл итераций.
Главное
Вы не создадите идеальную модель в первый же день. Успех в ИИ определяется тем, насколько быстро и умно вы можете проходить цикл итераций.
Специалисты называют это: Iterative Machine Learning Process (Итеративный процесс машинного обучения) Это цикл создания модели, ее обучения, анализа метрик ошибок (смещение и дисперсия) и корректировки гиперпараметров, данных или архитектуры перед повторным обучением.
💬 Если бы вы прямо сейчас застряли во временной петле на работе, какую одну задачу вы бы наконец-то довели до совершенства путем бесконечных повторений?
Часть 8 (Итерации) из 20 | #DLLifecycleForHumans #ai_edu На основе лекций CS230 Stanford