1. コンセプト
ベクトルライブラリは「ベクトル」(埋め込み)のデータベースであり、埋め込みモデルを通じてテキスト、画像、音声、その他のデータから変換された高次元ベクトルを格納し、類似性(コサイン、内積、L2距離など)に基づいて最近傍検索機能を提供します。 完全一致キーワード検索のみを行うのと比較して、ベクトルライブラリは、セマンティック検索、レコメンデーション、RAG、その他のタスクで「意味的に類似した」コンテンツを見つけるのに適しています。
2. なぜ必要なのか
従来の検索では、単語の顔しか一致できません。 ベクトル検索は「類似した意味」を理解できます。 たとえば、「健康的なスナック」をクエリする場合、ベクトル検索では、「健康」という単語のみを含むテキストではなく、「低カロリーのスナック、グラノーラバー」などの意味的に類似した結果を返すことができます。 大規模なモデルとドッキングする場合、ベクトル ライブラリは問題に最も関連する外部知識をプロンプトに戻すこともできるため、「捏造」が大幅に削減されます。
3. ワークフロー(簡略版)
1) 埋め込みモデルを使用してデータをベクトルに変換し、メタデータとともにベクトル ライブラリに書き込みます。
2) 速度、記憶、再現率のバランスをとるためのインデックス作成 (通常は HNSW、IVF、PQ、または Exact Flat)。
3)クエリ中に問題もベクトルにエンコードされ、k最近傍検索(kNN/ANN)が行われ、スコアとフィルター条件に従って結果が返されます。
4) 検索シナリオでは、「混合検索」を実行できます: BM25 キーワード スコアはベクトル類似性と融合され、関連性と想起率が考慮されます。
4. キーポイント指標の簡単な概要
- : 多くの場合、recall@k、遅延 (p95/99)、スループット、およびコストを調べます。
- 距離測定:コサインと内積はテキストでよく使用されます。 L2 は、部分的なビジュアル埋め込みに一般的に使用されます。 ベクトル正規化が必要なかどうかに注意してください。
- インデックスの選択: HNSW または小規模で利用可能な正確な検索。 データ量が数千万件の場合、メモリを節約して高速化するために、IVF/PQなどのクラスタリングや量子化技術が一般的に使用されます。
- データと一貫性: コーパスの更新は再構築/増分インデックスを作成する必要があります。 埋め込みモデルがアップグレードされたら、「再埋め込み」とバージョン管理を検討してください。
- エコロジカルな形式: 専用のベクトル ライブラリ (Milvus、Weaviate など) と、汎用データベース/検索エンジン (PostgreSQL+pgvector、OpenSearch/Elastic など) のベクトル機能の両方があります。
5. 一般的なアプリケーションセ
マンティック検索、RAG 検索拡張生成、類似コンテンツの重複排除、推奨事項の呼び出し、マルチモーダル検索 (グラフィック、テキスト、オーディオ、ビデオ)、異常検出、メトリック学習など。
