Глоссарий
Самоспекулятивный декодинг: драфтер из самой модели
Коротко: Самоспекулятивный декодинг это схема ускорения, где драфт генерирует сама target-модель в урезанном виде: пропуск слоёв, ранний выход, MoE-эксперты с меньшим числом экспертов. Проверка — полный проход, поэтому качество сохраняется (lossless). Отличие от классической спекуляции: не нужен отдельный драфтер и его обучение. Практика 2026: MTP стал дефолтом (нативно в vLLM/SGLang, llama.cpp), DFlash2 даёт 142 tok/s против 113 у MTP на Qwen3.8-27B, EAGLE-3-голова — 150-300 МБ GGUF с acceptance 0.80-0.88. Оговорки: acceptance-бенчмарков для русского нет, перенос с английского невалиден — русский токенизируется хуже.
Самоспекулятивный декодинг это схема ускорения, где драфт генерирует сама target-модель в урезанном виде: пропуск слоёв, ранний выход, MoE-эксперты с меньшим числом экспертов. Проверка — полный проход, поэтому качество сохраняется (lossless). Отличие от классической спекуляции: не нужен отдельный драфтер и его обучение. Практика 2026: MTP стал дефолтом (нативно в vLLM/SGLang, llama.cpp), DFlash2 даёт 142 tok/s против 113 у MTP на Qwen3.8-27B, EAGLE-3-голова — 150-300 МБ GGUF с acceptance 0.80-0.88. Оговорки: acceptance-бенчмарков для русского нет, перенос с английского невалиден — русский токенизируется хуже.