Кросс-энтропия: мера промаха классификации

Коротко: Кросс-энтропия это стандартная мера промаха при классификации: насколько предсказанное моделью распределение вероятностей разошлось с правильным ответом. Чем увереннее модель ошиблась, тем больше штраф, поэтому обучение быстро уходит от самоуверенных промахов. Градиент кросс-энтропии по логитам равен разности предсказанной и правильной вероятностей, и его компоненты в сумме дают ноль: уверенность переливается между классами, а не берётся из ниоткуда. В работе DeepMind 2026 года показано, что стандартные реализации этой функции содержат два численных бага, и обе починки умещаются в пару строк.