Глоссарий
EAGLE: спекуляция по фичам целевой модели
Коротко: EAGLE это семейство методов спекулятивного декодирования, где черновиковые токены генерируются по внутренним признакам целевой модели, а не по её тексту. Черновик это лёгкая голова поверх скрытого состояния: она видит то же представление, что и основная модель, поэтому доля принятых токенов заметно выше, чем у наивного драфтера. EAGLE-3 добавляет обучение по нескольким слоям и масштабирование на этапе теста. Практический плюс: черновик остаётся совместим с квантованной целевой моделью, качество приёма почти не падает.
Механизм простой на словах и хитрый в реализации: голова-черновик тренируется на скрытых состояниях целевой модели, поэтому угадывает не «какое слово похоже», а какое продолжение целевая модель сочтёт вероятным. Верификатор всё равно проверяет каждый кандидат, так что качество генерации не деградирует в принципе: спекуляция меняет скорость, а не распределение.
На практике семейство проверяли на одной игровой карте: из четырёх методов спекуляции варианты этого семейства держали прирост там, где наивные драфтеры уже проваливались. Ограничение одно: черновик обучается под конкретное семейство моделей, универсальной головы не существует.