Глоссарий
DFlash: блок кандидатов одним слоем
Коротко: DFlash это метод спекулятивного декодирования, где один черновой слой предсказывает сразу несколько будущих токенов за проход, без авторегрессионного перебора. Кандидаты приезжают блоком, верификатор целевой модели отсекает несовпавшие, и на типовых ответах ускорение получается заметным. Плата за простоту: на продолжениях с высокой ветвистостью один слой хуже предсказывает дальние позиции, и у метода есть грань применимости, которую стоит знать до внедрения.
Смысл подхода в экономике вызовов: вместо серии последовательных догадок черновик отдаёт весь блок сразу, и время на черновик почти не зависит от его длины. Для агентных сценариев это удобно: типовые ответы короткие и предсказуемые, блок принимается почти целиком.
Грань применимости проверяется замером на своих задачах, а не на чужих бенчмарках: у нас граница проходила там, где доля принятых токенов падала ниже порога окупаемости. Правило то же, что и для любой спекуляции: качество генерации не меняется, меняется только скорость.