Sentence Transformersは2026年8月18日に、ライブラリのメジャーアップデートであるv6.0をリリースしました。今回の更新により、新たなモデルタイプとして「MultiVectorEncoder」が追加され、ColBERTスタイルの検索が可能になります。
トークン単位の情報を保持する新方式
従来の埋め込みモデルは、テキスト全体を一つのベクトルに圧縮して表現します。しかし、MultiVectorEncoderは各トークンに対して個別のベクトルを保持する仕組みを採用しています。これにより、従来の圧縮プロセスで失われがちだった、特定の固有名詞や詳細な条件などの情報を詳細なまま維持できます。
情報のやり取りには「MaxSim」というオペレーターが用いられます。これは、クエリの各トークンに対して、ドキュメント内の最も類似したトークンを探し出し、そのスコアを合計する仕組みです。この手法により、単語が完全に一致していなくても、文脈に基づいた柔軟なマッチングが可能になります。
検索品質の向上とインデックスのトレードオフ
この方式の導入により、複数の条件を組み合わせた複雑な検索や、ドキュメントが長くなる場合でも高い検索精度を維持できます。また、OCR（光学文字認識）を介さずにページ画像から直接テキストクエリで検索を行う、視覚的なドキュメント検索にも対応しています。
一方で、ドキュメントごとに複数のベクトルを保持するため、インデックスのサイズは増大します。例えば、特定のデータセットを用いた比較では、従来のモデルに比べてストレージ容量が約42倍になることが示されています。ただし、圧縮技術を活用することで、実用的なサイズに抑えることも可能です。