Глоссарий
Датасет: данные, за которые отвечаешь
Коротко: Датасет это подготовленный набор данных, на котором модель обучают, дообучают или замеряют. Ценность определяется не объёмом, а гигиеной: зафиксированные источники, правила разметки, сплиты train, valid, test и критерии попадания примера в выборку. Утечка тестовых примеров в обучение обнуляет любую цифру бенчмарка, а немаркированный дубликат искажает оценку сильнее, чем сто пропущенных примеров. Для персональных данных добавляется требование минимизации: в набор попадает только то, что нужно для задачи.
Практическое правило, которое экономит недели: датасет описывается до сбора, а не после. Формат примера, источник, лицензия, способ разметки, критерии качества и процедура отсечения дублей фиксируются текстом, и любой, кто открывает набор через полгода, понимает, что внутри.
Для персональных данных добавляется правовая рамка: обезличивание не равно минимизации, открытый датасет с косвенными идентификаторами остаётся набором персональных данных. Поэтому любые пользовательские данные перед включением проходят проверку на состав полей.