Тема: cpu
На CPU Q4_K_M сократил время обработки документа на 22%
Это пятая часть серии про спекулятивное декодирование и оптимизацию локального инференса: Часть 1 - четыре метода на RTX 4060 Часть 2 - DFlash и граница применимости Часть 3 - EAGLE-3, acceptance 0.