Глоссарий
MTP (Multi-Token Prediction): голова, встроенная в модель
Коротко: MTP - дополнительная выходная голова, обученная вместе с моделью предсказывать несколько следующих токенов за один проход. В отличие от внешнего драфтера (EAGLE, отдельная малая модель), MTP-голова идёт в комплекте с чекпойнтом, весит мало и не требует отдельной модели в памяти. В спекулятивном декодировании голова предлагает цепочку черновых токенов, целевая модель проверяет их одним проходом; распределение сэмплирования не меняется, качество сохраняется по построению. Работает из коробки в новых сборках vLLM и llama.cpp для моделей, обученных с MTP (Qwen, DeepSeek и другие). Настройка чернового словаря и охвата домена влияет на acceptance сильнее, чем дообучение самой головы.
MTP-голова - штатный механизм спекуляции, встроенный в сам чекпойнт. На проходе decode модель предсказывает не один следующий токен, а цепочку: первый - основной lm_head, продолжения - MTP-головой. Спекулятивный контур проверяет эту цепочку основной моделью: совпавшие токены приняты, расходится - цепочка усекается.
Где MTP выигрывает и где нет
Плюс: нулевая цена хранения - голова на несколько десятков мегабайт против отдельной draft-модели, и совместимость гарантирована вендором. Для однопользовательского режима это самый дешёвый способ поднять decode в 2-3 раза.
Граница: MTP ускоряет только decode. Агентный цикл с промптами в десятки тысяч токенов упирается в prefill, который MTP не трогает. И acceptance зависит от домена: черновой словарь, посчитанный на собственных выходах модели, покрывает генерацию заметно полнее словаря, посчитанного на веб-корпусе.