Глоссарий
BM25: лексический ранжир, который находит артикулы и код
Коротко: BM25 это лексический алгоритм ранжирования, развитие TF-IDF: частота слова в документе учитывается с насыщением, редкие термы весят больше частых, длина документа нормализуется. Механизм: по инвертированному индексу находятся документы с точным совпадением слов запроса, формула пересчитывает их скоры. BM25 незаменим там, где плотный векторный поиск даёт ноль: артикулы, коды ошибок, имена функций, аббревиатуры. Эмбеддер превращает «ERR-40217» в бессмысленный вектор, BM25 находит его по точному совпадению. В продакшене почти всегда работает в паре с векторным поиском, а списки сливает RRF.
BM25 это рабочая лошадь полнотекстового поиска: быстрая, объяснимая и без обучения. Индекс строится на лету, скор считается формулой, любой результат можно разобрать до конкретных термов.
Слабое место известно: совпадение слов не гарантирует совпадение смысла. Поэтому в курсе гибридный поиск собирается как пара BM25 плюс dense, а не как замена.