Глоссарий
Разреженное внимание: ось паттерна доступа
Коротко: Разреженное внимание это семейство методов, где каждый запрос смотрит не на весь контекст, а на выбранное подмножество ключей. Ось паттерна доступа (в отличие от оси голов MHA/GQA/MLA): sliding window, sink+window (StreamingLLM), блок-спарс с обучаемым гейтингом (MoBA, NSA), learned sparse в проде (DeepSeek Sparse Attention, GLM-5.3). Важно: замена обученной разреженности на dense attention катастрофически роняет качество на lineage-бенчмарках — sparse часть натренированного поведения модели, а не бесплатная оптимизация инференса. Сама по себе разреженность сокращает FLOPs внимания квадратично: top-4 блока из 128 на 16k контекста — примерно 1/32 вычислений.
Разреженное внимание это семейство методов, где каждый запрос смотрит не на весь контекст, а на выбранное подмножество ключей. Ось паттерна доступа (в отличие от оси голов MHA/GQA/MLA): sliding window, sink+window (StreamingLLM), блок-спарс с обучаемым гейтингом (MoBA, NSA), learned sparse в проде (DeepSeek Sparse Attention, GLM-5.3). Важно: замена обученной разреженности на dense attention катастрофически роняет качество на lineage-бенчмарках — sparse часть натренированного поведения модели, а не бесплатная оптимизация инференса. Сама по себе разреженность сокращает FLOPs внимания квадратично: top-4 блока из 128 на 16k контекста — примерно 1/32 вычислений.