Можно ли собрать золотой набор из уже готовых вопросов пользователей?

Да, и это лучший источник: реальные формулировки ровнее любых выдуманных. Важно лишь добавить к каждому вопросу эталонные чанки и следить, чтобы набор покрывал разные типы запросов, а не только частые.

Насколько большим должен быть набор?

Достаточно большим, чтобы ловить регрессии, но достаточно маленьким, чтобы гоняться при каждой сборке. На практике стартуют с 50-100 вопросов и растят по мере появления провалов в проде.

Глоссарий

Золотой набор: фиксированные вопросы с эталонами для регресс-тестов RAG

Коротко: Золотой набор это фиксированная коллекция вопросов с эталонами: к каждому вопросу прилагаются релевантные чанки, а при желании и ожидаемые факты в ответе. Набор собирается один раз и живёт как тест: любое изменение нарезки, эмбеддера или реранкера прогоняется по нему, метрики recall, nDCG и MRR сравниваются с прошлым запуском. Без золотого набора каждое улучшение оценивается на глаз: поменяли чанкинг, стало «кажется лучше», а половина запросов тихо отвалилась. Золотой набор это фундамент eval в CI: RAG-конвейер проверяется регресс-тестами, как обычный код.

Золотой набор превращает настройку RAG из шаманства в инженерию: есть эталоны, есть метрики, есть история прогонов.

Правило гигиены: набор версионируется и никогда не правится под новую версию конвейера, иначе метрики начнут подгоняться под результат, а не измерять его.

Частые вопросы

Можно ли собрать золотой набор из уже готовых вопросов пользователей?: Да, и это лучший источник: реальные формулировки ровнее любых выдуманных. Важно лишь добавить к каждому вопросу эталонные чанки и следить, чтобы набор покрывал разные типы запросов, а не только частые.
Насколько большим должен быть набор?: Достаточно большим, чтобы ловить регрессии, но достаточно маленьким, чтобы гоняться при каждой сборке. На практике стартуют с 50-100 вопросов и растят по мере появления провалов в проде.