Адверсариальная игра: Бесконечная дуэль
Фальсификатор и инспектор сёгуна сошлись в бесконечной дуэли с высочайшими ставками. Это игра с нулевой суммой: если фальсификатору удается подсунуть подделку, он побеждает, а инспектор проигрывает. Если инспектор распознает фальшивку, побеждает он, а фальсификатор проигрывает.
Поначалу фальсификатор ужасен. Его кляксы едва похожи на деревья, и инспектор ловит его мгновенно. Но фальсификатор учится на каждой неудаче. Он понимает, на что именно смотрит инспектор (определенный изгиб, тип штриховки), и исправляет это.
Вскоре работы фальсификатора становятся настолько хороши, что проскальзывают мимо инспектора. Теперь очередь инспектора адаптироваться. Он изучает новые подделки еще внимательнее, находя новые, микроскопические изъяны, чтобы разоблачить их.
Эта эскалация не прекращается ни на секунду. Поскольку они соревнуются друг с другом, они заставляют друг друга достигать абсолютного совершенства.
Реальность
В ИИ это называется игрой «Минимакс» — она лежит в основе генеративно-состязательных нейросетей (GAN).
Термин «Минимакс» пришел из теории игр. Это означает, что один игрок пытается минимизировать шансы другого на победу, одновременно максимизируя свои собственные.
Генератор (фальсификатор) и Дискриминатор (инспектор) — это две отдельные нейросети, которые обучаются одновременно. У них абсолютно противоположные цели. Генератор пытается максимизировать уровень ошибок Дискриминатора (обмануть его). Дискриминатор пытается минимизировать свой уровень ошибок (поймать подделки).
Почему это важно
Эта состязательная схема гениальна, потому что моделям не нужен человек, чтобы указывать, как стать лучше. Функция потерь Генератора (то, как он измеряет свои неудачи) буквально привязана к успеху Дискриминатора. По мере того как Дискриминатор умнеет, он становится постоянно движущейся мишенью для Генератора. Это автоматизированная эволюционная гонка вооружений, происходящая внутри компьютера, в результате которой ИИ учится генерировать гиперреалистичные данные.
Главная мысль
Самый мощный способ обучения ИИ — это не чтение учебников, а битва с безжалостным противником.
Специалисты по ИИ называют это: Minimax / Адверсариальная игра (Adversarial Game)
В GAN процесс обучения формулируется как минимаксная игра двух игроков, где Генератор и Дискриминатор обучаются совместно: Генератор минимизирует логарифмическую вероятность правильного ответа Дискриминатора, а Дискриминатор максимизирует ее, стремясь к равновесию Нэша.
💬 Если бы вам нужно было освоить новый навык всего за месяц, вы бы учились быстрее с поддерживающим наставником или с сильным соперником, дышащим в спину?
Часть 6 из 14 | #GenerativeModelsForHumans
#ai_edu На основе лекций Стэнфорда и индустрии