Глоссарий
MRR: насколько высоко поиск ставит первый верный ответ
Коротко: MRR (Mean Reciprocal Rank) это средняя по запросам обратная позиция первого верного документа: релевантный документ на первом месте даёт вклад 1, на пятом 1/5, не найден 0. Метрика отвечает на простой вопрос: насколько высоко система ставит хотя бы один правильный ответ. MRR уместна там, где пользователю достаточно одного точного попадания: поиск по базе знаний, навигация по документации, ответы с цитатами. Ограничение: остальной список метрика не видит, поэтому в RAG её дополняют recall@k и nDCG@k, иначе хорошее MRR маскирует провалы за пределами первого документа.
MRR это метрика из эпоха веб-поиска, где один клик решал всё, и в RAG она остаётся полезной для сценариев «найди мне тот самый документ».
Ошибка новичка: считать MRR по генерации, а не по поиску. Метрика про ранжир кандидатов, до всякой LLM.