Глоссарий
nDCG: метрика ранжирования с дисконтом за позицию
Коротко: nDCG (normalized discounted cumulative gain) это метрика качества ранжирования. Релевантный документ на первой позиции приносит больше пользы, чем на десятой, поэтому вклад каждой позиции делится на логарифм её номера, а результат нормализуется к идеальному ранжированию. Значения лежат от 0 до 1 и сравнимы между запросами, nDCG@k оценивает именно верх списка, там, где живёт контекст для LLM. В RAG-проектах nDCG@5 или nDCG@10 основная метрика ранжира в eval: если она падает после смены нарезки или реранкера, качество ответов модели просядет следом.
nDCG это стандарт индустрии для сравнения ранжирований, но у него есть требование: нужны оценки релевантности по градациям. На бинарных эталонах метрика работает, хотя теряет часть информации.
В курсе nDCG считается на золотом наборе при каждом изменении конвейера: так правка чанкинга превращается из «кажется лучше» в число.