Глоссарий
GQA: меньше KV-голов, дешевле кэш
Коротко: GQA это компромисс между multi-head и multi-query attention: несколько голов запроса делят одну пару KV-голов. Число KV-голов меньше числа голов запроса в несколько раз, и во столько же раз сжимается KV-кэш: ключи и значения хранятся только для kv-голов. Qwen3-8B использует 32 головы запроса и 8 KV-голов, кэш меньше в 4 раза без заметной потери качества. На инференсе Q-головы дублируют KV-головы операцией repeat_kv перед вниманием.
GQA (Grouped-Query Attention) отвечает на вопрос, где инференсная экономия доступна без переобучения модели: в числе голов, которые хранят K и V.
Арифметика простая. KV-кэш пропорционален числу KV-голов. MHA (все головы парные) даёт кэш наибольший, MQA (одна голова) минимальный, GQA делит головы запроса на группы с общей KV-парой. У Qwen3-0.6B: 16 Q-голов и 8 KV-голов, у 8B: 32 и 8. Перед вычислением внимания головы запроса повторяются до числа KV-голов (repeat_kv), дальше всё как в обычном attention.