Adam: оптимизатор с самонастройкой шага

Коротко: Adam это оптимизатор, который сам подбирает размер шага при обучении: для каждого параметра он хранит скользящие средние градиента и его квадрата и делит шаг на корень из второй оценки. Маленькие градиенты получают большие относительные шаги, большие сглаживаются. Параметр eps в знаменателе защищает от деления на ноль, но у него нашлась и вторая работа: он останавливает рост уверенности модели на уровне log(1/eps), работая как скрытый регуляризатор. Вариант AdamW добавляет корректный weight decay. Механизм Slingshot из статьи DeepMind оказался следствием взаимодействия дефолтного eps с обрывом точности fp32.