Grokking: внезапное обобщение после зазубривания

Коротко: Grokking это явление в обучении: сеть сначала просто зазубривает тренировочные данные, долго не показывая ничего на отложенных примерах, а потом внезапно обобщает и резко поднимает тестовую точность. Долгое плато с внезапным скачком выглядит как озарение, отсюда и название. Исследования grokking ценны тем, что на игрушечных задачах в нём видны механизмы, спрятанные на больших моделях: динамика веса, роль оптимизатора, эффекты точности чисел. Часть загадок grokking, включая шипы ошибки и сорванные прогоны, оказалась следствием багов округления в кросс-энтропии и лечится фиксом из статьи DeepMind.