Глоссарий
CAG (Cache-Augmented Generation): когда вместо поиска — кэш
Коротко: CAG (Cache-Augmented Generation) — альтернатива RAG, при которой нужные документы целиком кладутся в контекст модели и кэшируются на уровне KV-кэша, а не ищутся ретривером по запросу. Вместо цикла «поиск → вставка фрагментов» — один загруженный корпус, из которого модель отвечает напрямую. Работает, когда знания помещаются в контекст и меняются редко; при больших или быстро устаревающих базах возвращает к RAG, потому что длинный контекст деградирует и стоит токенами на каждом ходу.
В популярной подаче CAG расшифровывают и как Context-Augmented Generation, то есть «обогащение контекстом» вообще, включая историю сессии и живые API. Классический смысл из статьи «Don't Retrieve, Generate» (2024) конкретнее: предзагрузить знания в контекст, закэшировать KV-состояние и отвечать без фазы поиска.
Когда кэш бьёт поиск
База маленькая и стабильная: инструкции, регламенты, документация одного продукта. Каждый ход агента не пересобирает промпт: состояние висит в кэше, латентность падает кратно.
Когда кэш проигрывает
Знания обновляются, база больше окна, ход агента перечитывает контекст токенами. У нас это видно на живых числах: ход агента весит 15-20 тысяч токенов ещё до вопроса, а деградация на длинных сессиях является измеренным эффектом, а не мнение.