Дистилляция: передача знаний от модели к модели

Коротко: Дистилляция это способ передачи знаний между моделями: студент меньшего размера учится повторять ответы учителя, большой обученной модели. Учитель отдаёт не только финальный ответ, но и распределение вероятностей по вариантам, где закодировано его понимание задачи: какие варианты похожи, какие совсем нет. Качество передачи меряют расхождением распределений студента и учителя. Тонкое место: когда студент уже почти совпал с учителем, стандартный расчёт градиента тонет в шуме округления, и студент уползает от учителя вместо того, чтобы стоять на месте. Починенный вариант лосса считает разность из логитов и шумит на уровне машинной точности.