Глоссарий
Спекулятивное декодирование: маленькая модель предлагает, большая проверяет
Коротко: Спекулятивное декодирование это ускорение инференса, при котором дешёвая модель (или n-gram таблица, или дополнительные головы) предлагает сразу несколько токенов, а большая модель проверяет их одним forward проходом. Принятые токены засчитываются, на отвергнутом позиция откатывается. Верификация параллельна, поэтому один проход большой модели стоит примерно как один токен, а выдаёт несколько. Ускорение зависит от доли принятых токенов: при 70% принятия и окне 4 это примерно 2.2 раза.
Спекулятивное декодирование это использование того факта, что forward проход на k токенов почти такой же цены, как на один: параллельность по длине дешева, последовательная генерация нет.
Выбор источника спекуляции: draft-модель того же семейства меньшего размера, n-gram prompt lookup (работает на копировании из контекста: код, шаблоны), методы с дополнительными головами (Medusa, EAGLE) и native MTP у Qwen3. На реальных нагрузках ускорение от 1.5 до 3 раз, максимум там, где текст предсказуем: код, шаблонные ответы, редактирование.