Tablestore:Vector search

シナリオ

ベクトル検索は、レコメンデーションシステム、画像・動画検索、自然言語処理、セマンティック検索などのシナリオに適しています。

• 検索拡張生成 (RAG)

  RAG は、検索機能と大規模言語モデル (LLM) の機能を組み合わせた AI フレームワークです。検索を利用して LLM の出力精度を向上させ、特に非公開データや専門的なデータに対して有効です。RAG はナレッジベースのシナリオで広く使用されています。

• レコメンデーションシステム

  E コマース、ソーシャルメディア、ストリーミングメディアなどのプラットフォームでは、ユーザーの行動、プリファレンス、コンテンツの特徴をベクターにエンコードできます。ベクトル検索により、ユーザーの興味に合致するプロダクト、記事、動画を迅速に見つけることができます。このプロセスにより、パーソナライズされたレコメンデーションが可能になり、ユーザー満足度と保持率が向上します。

• 類似性検出 (画像、動画、音声)

  画像、動画、音声、ボイスプリント、顔認識などの分野では、非構造化データをベクター表現に変換できます。その後、ベクトル検索を使用して、最も類似したターゲットを迅速に見つけることができます。たとえば、E コマースプラットフォームでユーザーが画像をアップロードすると、システムは類似したスタイル、色、またはパターンのプロダクト画像を迅速に見つけることができます。

• 自然言語処理とセマンティック検索

  自然言語処理 (NLP) の分野では、テキストを Word2Vec や Bidirectional Encoder Representations from Transformers (BERT) の埋め込みなどのベクター表現に変換できます。その後、ベクトル検索を使用してクエリのセマンティクスを理解し、意味的に最も関連性の高いドキュメント、ニュース、または Q&A ペアを見つけることができます。これにより、検索結果の関連性が向上し、ユーザーエクスペリエンスが改善されます。

• ナレッジグラフと AI チャット

  ナレッジグラフのノードとリレーションシップはベクターとして表現できます。ベクトル検索は、エンティティリンキング、リレーションシップの推論、および AI チャットシステムの応答速度を向上させることができます。これにより、システムは複雑な質問をより正確に理解し、回答できるようになります。

中核的な利点

機能概要

KnnVectorQuery は、数値ベクターに対して近似最近傍クエリを実行することで、大規模なデータセット内で最も類似したデータ項目を見つけます。

ベクトル検索は、多次元インデックスのすべての機能を継承しています。これは、すぐに使用でき、従量課金制で、システムのデプロイメントが不要なサービスです。ストリームベースのインデックス構築をサポートしており、データがテーブルに書き込まれた後、ほぼリアルタイムでクエリを実行できます。また、高スループットの追加、更新、削除もサポートしています。クエリパフォーマンスは、HNSW アルゴリズムを使用するシステムに匹敵します。

KnnVectorQuery 機能を使用してデータをクエリする場合、クエリベクター、検索対象のベクターフィールド、および取得する最近傍の数 (TopK) を指定する必要があります。このプロセスにより、指定したベクターフィールドからクエリベクターに最も類似した TopK 個のベクターが取得されます。このクエリを他の非ベクトル検索機能と組み合わせて、結果をフィルタリングすることもできます。

注意事項

ベクトル検索を使用する際は、次の点にご注意ください：

• ベクターフィールドの型、ディメンション、その他のプロパティの数には制限が適用されます。詳細については、「多次元インデックスの制限事項」をご参照ください。

• 多次元インデックスはサーバー側でパーティション分割されます。各パーティションは独自の TopK 最近傍を返し、その結果はクライアントノードで集約されます。したがって、トークンを使用してすべてのデータをページ分割する場合、返される行の総数はサーバー側のパーティション数に依存します。

• 現在、ベクトル検索機能は、中国 (杭州)、中国 (上海)、中国 (青島)、中国 (北京)、中国 (張家口)、中国 (ウランチャブ)、中国 (深セン)、中国 (広州)、中国 (成都)、中国 (香港)、日本 (東京)、シンガポール、マレーシア (クアラルンプール)、インドネシア (ジャカルタ)、フィリピン (マニラ)、タイ (バンコク)、ドイツ (フランクフルト)、イギリス (ロンドン)、米国 (バージニア)、米国 (シリコンバレー)、サウジアラビア (リヤド - パートナー運営) の各リージョンで利用可能です。

手順

1. ベクターを生成します。

   オープンソースモデルを使用して、Tablestore 内のデータをベクターに変換し、保存します。

2. ベクターデータを書き込みます。

3. 検索インデックスを作成する際に、ベクターフィールドを設定します。

   ベクターフィールドの型、ディメンション、および距離測定アルゴリズムを構成します。

4. ベクトル検索を使用してデータをクエリします。

課金

パブリックプレビュー期間中は、KNN ベクタークエリ機能に固有の課金項目に対しては課金されません。その他の課金項目については、既存の課金ルールに基づいて課金されます。

検索インデックスを使用してデータをクエリすると、消費された読み取りスループットに対して課金されます。詳細については、「検索インデックスの課金項目」をご参照ください。

付録 1：BoolQuery との併用

KnnVectorQuery と BoolQuery をさまざまな方法で組み合わせることで、異なる結果を得ることができます。このセクションでは、2 つの一般的なユースケースについて説明します。この例では、フィルターが少量のデータに一致するシナリオを想定しています。

あるテーブルに 1 億枚の画像が含まれているとします。あるユーザーは合計 50,000 枚の画像を所有していますが、そのうち過去 7 日間に追加されたのは 50 枚のみです。ユーザーは、画像による検索を使用して、過去 7 日間に追加された画像の中から最も類似した 10 枚の画像を見つけたいと考えています。次の表は、KnnVectorQuery フィルター内で BoolQuery を使用してこの要件を満たす方法を示しています。

付録 2：ベクター正規化の例

次のコードは、ベクター正規化の例を示しています：

  public static float[] l2normalize(float[] v, boolean throwOnZero) {
    double squareSum = 0.0f;
    int dim = v.length;
    for (float x : v) {
      squareSum += x * x;
    }
    if (squareSum == 0) {
      if (throwOnZero) {
        throw new IllegalArgumentException("can't normalize a zero-length vector");
      } else {
        return v;
      }
    }
    double length = Math.sqrt(squareSum);
    for (int i = 0; i < dim; i++) {
      v[i] /= length;
    }
    return v;
  }