Охота за сокровищами: как получить данные, когда их нет
Мы знаем нашу миссию. Нам нужен ИИ-навигатор, который сможет распознавать и избегать нестабильные плазменные астероиды. У нас есть карта, у нас есть корабль, но есть одна проблема: у нас нет никаких данных о плазменных астероидах. Мы их никогда не видели.
Поэтому наша команда инженеров делает то, что делает всегда: сидит в ангаре, пьет космический кофе и ждет, пока данные волшебным образом появятся сами, чтобы можно было начать строить модель.
Сценарий
Это называется «Проблема холодного старта» (Cold Start Problem). Фаундеры часто говорят: «Мы не можем делать ИИ, потому что у нас еще нет данных». Но ждать, пока данные соберутся органически, — это все равно что ждать, пока астероиды врежутся в ваш корабль, просто чтобы вы могли их изучить. Это медленно и, как правило, фатально.
В жизненном цикле ИИ получение данных — это не пассивное ожидание. Это активная, агрессивная охота за сокровищами.
Реальность
Если у вас нет данных, вы должны пойти и добыть их. Быстро.
- Скрапинг: Можете ли вы найти в открытом доступе записи о предыдущих столкновениях с астероидами?
- Покупка: Можете ли вы купить журналы полетов у контрабандиста, который выжил в поясе астероидов?
- Ручная генерация: Можете ли вы отправить флот дешевых одноразовых дронов-разведчиков, чтобы они спровоцировали столкновения и записали результаты?
- Синтетические данные: Можете ли вы использовать симулятор, чтобы математически сгенерировать, как должен выглядеть плазменный астероид?
Вам не нужен идеально чистый датасет из миллиона примеров в первый же день. Вам нужен «грязный» датасет из сотни примеров к пятнице.
Почему это важно
Цель первого набора данных — не обучить финальную модель. Цель — создать «базовую модель» (baseline), корявый, едва работающий прототип. Как только у вас появится базовая модель, вы сразу увидите, какие данные вам на самом деле нужны. Вы поймете, что вашей модели плевать на цвет астероидов, ей важна только их тепловая сигнатура. Это озарение спасет вам месяцы сбора неправильного груза.
Главное
Данные не падают с неба. Их добывают в шахтах, скрапят, покупают и симулируют. Хватит ждать идеального датасета — начинайте охоту.
Специалисты называют это: Data Acquisition Strategy (Стратегия сбора данных) Это активный процесс сбора первоначального набора данных, необходимого для обучения модели машинного обучения, часто с использованием креативных методов вроде скрапинга, открытых баз данных или ручной разметки, когда собственных данных еще нет.
💬 Какой самый креативный или «хакерский» способ вы когда-либо использовали для сбора данных, чтобы протестировать новую идею?
Часть 5 (Сбор данных) из 20 | #DLLifecycleДляЛюдей #ai_edu Based on CS230 Stanford lectures