Тема: inference
От 96K до следующей лаборатории: Lucebox, EAGLE-3, MLX и ROCm
Автор: Гусев Николай. Серия про спекулятивное декодирование на 8 ГБ: часть 1, часть 2 - DFlash, часть 3 - EAGLE-3.
DFlash 2: ускоряет код в 1.8 раза и роняет документы в 0.25 - где проходит граница
Автор: Гусев Николай. Серия про спекулятивное декодирование на 8 ГБ: часть 1 - общая картина, часть 3 - EAGLE-3, часть 4 - 96K и Lucebox.
EAGLE-3 на 4060: acceptance 0.17 при любой квантизации - домен решает, не битрейт
Автор: Гусев Николай. Серия про спекулятивное декодирование на 8 ГБ: часть 1, часть 2 - DFlash, часть 4 - 96K и Lucebox.
Проверяем спекулятивное декодирование на одной RTX 4060: четыре метода, ноль API
Недавно подписчик из канала TKBK API подогнал мне на своём сервисе tkbk.