Weight decay: лёгкое сжатие весов при обучении

Коротко: Weight decay это лёгкое сжатие весов модели на каждом шаге обучения: к обновлению добавляется член, пропорциональный самой величине веса. Без него сети склонны раздувать веса без пользы для качества, с ним числа остаются скромными, что обычно улучшает обобщение. В AdamW сжатие применяется к весам напрямую, а не через градиент, поэтому работает предсказуемо. У weight decay есть и скрытая роль в численных эффектах: он втягивает примеры обратно под обрыв точности, запуская цикл Slingshot, а вместе с eps Адама задаёт потолок уверенности обученной модели.