Глоссарий
KV-хэндофф: передача вычисленного кэша вместо префилла
Коротко: KV-хэндофф это передача уже вычисленного KV-кэша между моделями или узлами вместо повторного префилла текста. Экономика: контекст 25k токенов — около 10 ГБ fp16 или 2.5 ГБ int4 для модели GQA-класса; передача по 4 Thunderbolt-линкам ~0.1 с против десятков секунд префилла. Внутри одного семейства кэш переносится closed-form линейным маппером (73-98% retention, 2.7-25x быстрее re-prefill); между семействами — обучаемым маппером (SwaT: <50M токенов калибровки, паритет retention сам по себе, выигрыш в связке со сжатием кэша). Порог применимости: перенос оправдан, когда remote prefill + transfer < local prefill — для 70B+ моделей с длинными промптами и IB это почти всегда.
KV-хэндофф это передача уже вычисленного KV-кэша между моделями или узлами вместо повторного префилла текста. Экономика: контекст 25k токенов — около 10 ГБ fp16 или 2.5 ГБ int4 для модели GQA-класса; передача по 4 Thunderbolt-линкам ~0.1 с против десятков секунд префилла. Внутри одного семейства кэш переносится closed-form линейным маппером (73-98% retention, 2.7-25x быстрее re-prefill); между семействами — обучаемым маппером (SwaT: <50M токенов калибровки, паритет retention сам по себе, выигрыш в связке со сжатием кэша). Порог применимости: перенос оправдан, когда remote prefill + transfer < local prefill — для 70B+ моделей с длинными промптами и IB это почти всегда.