Тема: speculative-decoding
DFlash 2: ускоряет код в 1.8 раза и роняет документы в 0.25 - где проходит граница
Автор: Гусев Николай. Серия про спекулятивное декодирование на 8 ГБ: часть 1 - общая картина, часть 3 - EAGLE-3, часть 4 - 96K и Lucebox.
EAGLE-3 на 4060: acceptance 0.17 при любой квантизации - домен решает, не битрейт
Автор: Гусев Николай. Серия про спекулятивное декодирование на 8 ГБ: часть 1, часть 2 - DFlash, часть 4 - 96K и Lucebox.