Зачем передавать кэш, если можно передать промпт?

Prefill длинного промпта стоит десятки секунд на decode-узле, а передача готового KV-кэша по RDMA — доли секунды. Именно этот разрыв делает дизагрегацию и KV-хэндофф выгодными на 25k+ контекстах.

Глоссарий

PD-дизагрегация: prefill и decode на разных узлах

Коротко: PD-дизагрегация это разделение инференса на два кластера: prefill-узлы считают KV-кэш промпта и передают его decode-узлам по RDMA/InfiniBand, которые генерируют токены. Выигрыш — каждый кластер масштабируется под свою нагрузку (prefill compute-bound, decode memory-bound). Замеры на MiniMax-M3 (268 прогонов, 2026): RDMA+GPUDirect даёт медианный TTFT ниже в 5.4-11.5x против TCP; TCP отказывал в 41% прогонов — узкое место не полоса, а host staging без zero-copy, поэтому TCP не функциональный fallback для тяжёлых профилей.

PD-дизагрегация это разделение инференса на два кластера: prefill-узлы считают KV-кэш промпта и передают его decode-узлам по RDMA/InfiniBand, которые генерируют токены. Выигрыш — каждый кластер масштабируется под свою нагрузку (prefill compute-bound, decode memory-bound). Замеры на MiniMax-M3 (268 прогонов, 2026): RDMA+GPUDirect даёт медианный TTFT ниже в 5.4-11.5x против TCP; TCP отказывал в 41% прогонов — узкое место не полоса, а host staging без zero-copy, поэтому TCP не функциональный fallback для тяжёлых профилей.