Глоссарий
Спекулятивное декодирование: что это и когда работает
Коротко: Спекулятивное декодирование — метод ускорения генерации LLM, при котором маленькая черновая модель угадывает несколько следующих токенов, а большая проверяет их за один проход вместо генерации по одному. Ускорение в 1,8–3 раза на детерминированных задачах (код, JSON, математика) без потери качества: большая модель принимает или отвергает черновик, поэтому текст выдаёт тот же. На задачах со свободной творческой генерацией acceptance падает и ускорение исчезает.
Классическая генерация LLM авторегрессионна: каждый следующий токен требует полного прохода модели. Спекулятивное декодирование ломает это ограничение: драфтер за копейки предлагает цепочку из N токенов, целевая модель одним проходом проверяет все N и принимает совпавшие. Экономика простая — проверка в разы дешевле генерации, а rejects стоят ещё дешевле.
Где граница применимости
Acceptance rate — доля принятых черновых токенов — целиком зависит от домена. Код и JSON детерминированы, драфтер угадывает, ускорение стабильно. Свободный текст и документы — угадывание проваливается, накладные расходы на проверку становятся дороже выигрыша. Наш замер DFlash 2: 1,8× на коде, 0,25× на документах — медленнее обычной генерации.
На 8 ГБ VRAM
Бюджетная карта — худший сценарий для heavy-методов: EAGLE-3 требует драфт-модель того же семейства, и при любой квантизации acceptance держится на 0,17. Зато PFlash/Lucebox сжатием prefill вжимает 96K контекста туда, где без спекуляции не влезало ничего.