Тема: grokking
В каждом фреймворке глубокого обучения два бага округления. Их нашли и починили
В софтмаксе и кросс-энтропии два численных бага: обрыв градиента у уверенной модели и шум при дистилляции. Механика, фикс в две строчки и граница применимости.