Чем RAG отличается от длинного контекста модели?

Длинный контекст вмещает документы целиком, но стоит токенами и деградирует на объёме. RAG доставляет только релевантные фрагменты — дешевле и точнее на больших базах, но требует работающего поиска: мусорный контекст даёт уверенно неверные ответы.

Почему RAG выдаёт нерелевантные куски?

Эмбеддинг-модель измеряет похожесть, а не релевантность: «архитектура RAG» и «рецепт пиццы» могут получить одинаковый скор 0.85. Лечится адаптивными порогами, гибридным поиском (FTS + вектор) и переранжированием.

Глоссарий

RAG: что это и что не пишут в туториалах за 5 минут

Коротко: RAG (Retrieval-Augmented Generation) — архитектура, при которой LLM перед ответом получает найденные в базе знаний фрагменты вместо опоры только на веса модели. Туториалы показывают «ChromaDB + эмбеддинги за 5 минут», но в реальной эксплуатации ломаются три вещи: переиндексация создаёт дубликаты чанков, эмбеддер одинаково уверенно ранжирует релевантное и мусорное, индекс зарастает мёртвыми записями. Лечится детерминированными ID от содержимого, адаптивными порогами и переранжированием.

Туториальный RAG умирает на первом же месяце эксплуатации. Три места поломки известны заранее — и все три чинятся инженери, а не новым фреймворком.

Дубликаты

ID чанков, зависящие от порядка обработки, создают сотни мёртвых записей при каждой переиндексации. Исправление: хеш от пути файла и заголовка секции. Файл не изменился — ID те же, upsert вместо дублирования.

Уверенность без релевантности

Одинаково высокий скор на релевантном и мусоре — свойство эмбеддера, а не баг. Пороги, адаптирующиеся к распределению скоров запроса, плюс reranker.

Наблюдаемость

Какой документ устарел? Где противоречия? Без мониторинга система деградирует незаметно. Инкрементальная индексация и категории чанков с фильтрацией на уровне базы — минимальный набор выживания.

Частые вопросы

Чем RAG отличается от длинного контекста модели?: Длинный контекст вмещает документы целиком, но стоит токенами и деградирует на объёме. RAG доставляет только релевантные фрагменты — дешевле и точнее на больших базах, но требует работающего поиска: мусорный контекст даёт уверенно неверные ответы.
Почему RAG выдаёт нерелевантные куски?: Эмбеддинг-модель измеряет похожесть, а не релевантность: «архитектура RAG» и «рецепт пиццы» могут получить одинаковый скор 0.85. Лечится адаптивными порогами, гибридным поиском (FTS + вектор) и переранжированием.