Почему в MLP три матрицы вместо двух?

Классический MLP: projection и expansion, две матрицы. SwiGLU добавляет gate-ветку: обе ветки расширяют до промежуточной размерности, а перемножение их выходов даёт нелинейность. Чтобы сохранить число параметров, промежуточную размерность уменьшают примерно на треть (8/3 множитель), что и видно в конфигах Qwen и Llama.

Глоссарий

SwiGLU: активация MLP, которую выбрали все современные модели

Коротко: SwiGLU это активация в MLP-блоке трансформера: выход gate-матрицы пропускается через SiLU и перемножается поэлементно с выходом up-матрицы, затем идёт down-проекция. MLP получает три матрицы вместо двух. Смысл в управляемом затухании: SiLU отрицательные значения не обнуляет как ReLU, а плавно гасит, и произведение с up-выходом работает как обучаемый фильтр. Qwen3, Llama и Mistral используют SwiGLU.

SwiGLU это точка, где архитектура встречается с кернелом. Формула проста: silu(gate(x)) поэлементно умножить на up(x), потом down.

Инференсный интерес: три матрицы это три потока чтения весов на каждый токен, и fused SwiGLU-кернел (модуль 07) экономит два прохода по промежуточному тензору в HBM. На CPU разница мала, на GPU в батче это проценты throughput. Именно поэтому сервинг-стеки тащат собственные fused-реализации вместо композиции элементарных операторов.