BM25の仕組み 「検索」と聞くと、単にキーワードが含まれているかチェックするだけと思われがちですが、BM25はもっと「人間らしい」判断をします。 例えば、あなたが 「Pythonのリスト内包表記」 と調べたとしましょう。

The default index construction method. Maintains a global term-to-termID mapping across all blocks. For each block, generates (termID, docID) pairs, sorts them, and writes them to disk as intermediate ...

社内ドキュメントをRAGに乗せたものの、「型番 X-2050-A の仕様は？」「 部長の決裁ルール教えて」のような"固有名詞ピンポイント検索"だけ急に当たらなくなる現象、心当たりありませんか。 スコアを覗くと、直接そのIDが書かれた1ページではなく、似た ...

A production-grade search engine built from scratch in Python that crawls the web, constructs a custom inverted index, ranks documents using BM25 + PageRank, and serves search queries with ...