Маркировка улик: определение истины
В подвале агентства есть комната, наполненная «белым шумом». Тысячи неподписанных фотографий, перехваченных звонков и размытых документов. Для машины всё это — просто статика. Чтобы превратить это в разведданные, кто-то должен определить, где здесь истина.
Сценарий
Представьте, что вы начальник архива улик. Каждый день из «поля» прибывают ящики с необработанными данными.
Если вы скормите фото подозрительного портфеля напрямую «Директору» (машине), он не пойдет, опасен этот портфель или в нем просто лежит сэндвич. У машины нет интуиции — она учится только на том, что ей говорят.
Поэтому вы собираете свою команду. Их работа — МАРКИРОВКА (Labeling). Они берут каждое фото и прикрепляют к нему окончательный тег:
- Портфель А: «БОМБА»
- Портфель Б: «ДОКУМЕНТЫ»
- Портфель В: «ОБЕД»
К тому времени, когда они закончат, сырой шум превратится в «Размеченный датасет». Теперь, когда машина посмотрит на тысячу портфелей, она начнет замечать тонкие паттерны, которые отличают сэндвич от секретного оружия. Качество вашей разведки целиком зависит от точности этих тегов. Если ваш сотрудник поленится и пометит бомбу как «Обед», миссия будет провалена.
Реальность
Машинное обучение настолько хорошо, насколько хороши метки, которые мы ему даем. Разметка (или Аннотирование) — это процесс, при котором люди присваивают «Эталонную истину» (Ground Truth) сырым данным.
Чтобы создать беспилотный автомобиль, люди должны вручную обвести рамками «пешеходов» и «знаки остановки» на миллионах видеокадров. Чтобы создать медицинский ИИ, врачи должны вручную пометить «опухоли» на тысячах рентгеновских снимков. Разметка — это самая дорогая, самая трудозатратная и самая важная часть разработки ИИ. Именно здесь человеческое определение мира «зашивается» в мозг машины.
Почему это важно
Без меток «Обучение с учителем» невозможно. Машине нужен «ключ с ответами», чтобы проверять свою работу. Если метки неверны, машина выучит неверные правила. В индустрии ИИ мы называем это «Мусор на входе — мусор на выходе» (Garbage In, Garbage Out). Настоящий интеллект ИИ часто исходит не из кода, а от тысяч людей, которые месяцами определяли, что является «Истиной».
Главное
Разметка — это процесс прикрепления человеческой «Истины» к сырым данным, чтобы у машины было на чем учиться.
Специалисты называют это: Data Labeling / Annotation (Разметка данных / Аннотирование) Разметка данных — это процесс идентификации сырых данных (изображений, текстовых файлов, видео и т. д.) и добавления к ним одной или нескольких значимых меток для обеспечения контекста, на основе которого модель машинного обучения может обучаться.
💬 Если бы вам пришлось помечать каждого встреченного сегодня человека как «Друг», «Незнакомец» или «Потенциальный союзник», у кого было бы больше всего тегов?
Часть 18 (Разметка данных) из 25 | #DeepLearningДляЛюдей