Глоссарий
RMSNorm: нормализация без вычитания среднего
Коротко: RMSNorm это нормализация, которая делит вектор на корень из среднего квадрата его компонент и умножает на обучаемый вес. В отличие от LayerNorm не вычитает среднее, поэтому на один проход меньше и на инференсе дешевле. Качество на трансформерах сопоставимо с LayerNorm, поэтому её взяли Qwen, Llama и большинство современных моделей. Каждый трансформерный блок содержит две RMSNorm: перед attention и перед MLP.
RMSNorm это пример того, как упрощение survives продакшен. Формула: x делится на корень из mean(x в квадрате) плюс eps и умножается на вес w.
На инференсе важен контекст: в каждом слое трансформера RMSNorm вызывается два раза, и на длинном префилле это миллионы вызовов. Отсюда следующий шаг оптимизации, fused RMSNorm: один проход по вектору с накоплением суммы квадратов в регистрах, вместо проходов посчитать-нормализовать-умножить. Реализуется в модуле 07 курса.