Глоссарий
Кросс-энкодер: точный, но медленный брат bi-encoder
Коротко: Кросс-энкодер это модель ранжирования, которая получает запрос и документ одним входом: токены обоих проходят через трансформер вместе, на выходе один скор релевантности. Благодаря совместному вниманию он видит взаимодействие слов запроса со словами документа, поэтому точнее bi-encoder, где запрос и документ кодируются независимо и сравниваются векторами. Плата за точность: векторы не предпосчитать, каждая пара запрос-документ прогоняется заново. Отсюда место в конвейере: кросс-энкодер стоит на реранкинге небольших выборок, а не в первичном поиске по миллионам чанков.
Кросс-энкодер это классика второго этапа поиска: модели уровня bge-reranker или миниLM-реранкеров ставят релевантность на порядок точнее, чем сравнение эмбеддингов.
Практическое правило: сколько кандидатов отдать на реранкинг, решают по латентности и бюджету, обычно от 20 до 100. Дальше выигрыш падает, а стоимость растёт линейно.