MLA: сжатие KV-кэша через латентное пространство

Коротко: MLA это архитектура голов внимания из DeepSeek V2/V3, альтернатива GQA: K и V каждого токена проецируются в общий латентный вектор малой размерности, и именно он хранится в кэше. Заявленное сокращение KV-кэша относительно MHA — более 90% при сопоставимом качестве. Обратная сторона: кэш перестаёт быть набором K/V-голов, поэтому paged-кернелы и KV-хэндофф общего назначения к MLA-моделям напрямую не применимы — нужны специализированные кернелы (FlashMLA, ThunderMLA). Вместе с GQA и MHA MLA образует ось «архитектура голов», отдельную от осей паттерна доступа и позиционного кодирования.