Градиент: подсказка, куда крутить параметры

Коротко: Градиент это вектор производных ошибки по параметрам модели: он показывает, в какую сторону и насколько сильно надо подкрутить каждый параметр, чтобы ошибка уменьшилась. Обучение это спуск по склону ошибки малыми шагами против градиента. Оптимизаторы вроде Adam не просто идут по градиенту, а нормируют шаг по истории прошлых градиентов: так обучение быстрее и устойчивее к разбросу масштабов. Для кросс-энтропии важно свойство: сумма компонентов градиента равна нулю. Его нарушение из-за округлений даёт фантомные направления, которые на длинных прогонах выливаются в скачки лосса.