Tablestore:概要

シナリオ

KNN ベクトル クエリ機能は、以下のシナリオに適しています。

• RAG

  RAG は、検索機能と大規模言語モデル (LLM) の機能を組み合わせた AI フレームワークであり、LLM によって生成される出力の精度を向上させることを目的としています。特にプライベート データや専門データの分野で役立ちます。RAG はナレッジベースで広く使用されています。

• レコメンデーション システム

  KNN ベクトル クエリは、e コマース、ソーシャル メディア、動画ストリーミング プラットフォームなどのプラットフォームで使用できます。たとえば、プラットフォームは、ユーザーの行動、好み、コンテンツの特徴などのコンテンツをベクトルとしてエンコードし、そのベクトルを保存できます。次に、KNN ベクトル クエリを使用して、ユーザーの興味に一致する製品、記事、または動画をすばやく見つけることができます。これにより、プラットフォームはカスタム レコメンデーションを提供して、ユーザー エクスペリエンスとロイヤルティを向上させることができます。

• 類似性検出

  画像認識、動画認識、音声認識、声紋認識、顔認識などのコンテンツ認識シナリオでは、非構造化データがベクトルに変換されて保存されます。次に、システムは KNN ベクトル クエリを使用して、最も類似したコンテンツをすばやく見つけます。たとえば、ユーザーが商品の画像を e コマース プラットフォームにアップロードした後、システムはスタイル、色、またはパターンがアップロードされた画像に類似した商品の画像をすばやく見つけることができます。

• NLP とセマンティック検索

  NLP 分野では、Word2Vec や Transformers からの双方向エンコーダ表現 (BERT) などの手法を使用して、テキストがベクトルに変換されます。次に、KNN ベクトル クエリを使用して、クエリ ステートメントのセマンティクスを理解し、ドキュメント、ニュース、Q&A ペアなど、セマンティック的に最も関連性の高いコンテンツを見つけます。これは、クエリ結果の関連性とユーザー エクスペリエンスの向上に役立ちます。

• ナレッジグラフとインテリジェントな会話型検索

  ナレッジグラフ内のノードとノードの関係は、ベクトルで表すことができます。次に、KNN ベクトル クエリを使用して、エンティティのリンク、関係の推論、およびインテリジェントな会話型検索システムの応答を高速化できます。これは、システムが質問を正確に理解し、複雑な質問への回答を提供するのに役立ちます。

機能

KNN ベクトル クエリ機能を使用して、ベクトルに基づいて近似最近傍探索を実行できます。これにより、大規模なデータセット内で、クエリ対象のベクトルと最も類似性の高いデータ項目を見つけることができます。

KNN ベクトル クエリは、検索インデックスのすべての機能を継承するすぐに使える機能です。システムを構築またはデプロイすることなく、従量課金制で KNN ベクトル クエリ機能を使用できます。KNN ベクトル クエリは、検索インデックスのストリーミング モードをサポートしています。データは、テーブルに書き込まれた後、ほぼリアルタイムでクエリできます。KNN ベクトル クエリは、高スループットの挿入、更新、および削除操作もサポートしています。クエリのパフォーマンスは、階層型ナビゲーション可能なスモール ワールド (HNSW) アルゴリズムを使用するシステムのパフォーマンスに匹敵します。

KNN ベクトル クエリ機能を使用する場合、類似性をクエリするベクトル、クエリするベクトル フィールド、およびクエリするベクトルと最も類似性の高い上位 K 個のクエリ結果を指定する必要があります。KNN ベクトル クエリと組み合わせて他のクエリ方法の機能を使用して、クエリ結果をフィルタリングすることもできます。

メリット

請求ルール

パブリック プレビュー中は、この機能を使用する場合、KNN ベクトル クエリ機能に固有の請求対象項目に対して課金されません。既存の請求ルールに基づいて、他の請求対象項目に対して課金されます。

検索インデックスを使用してデータをクエリする場合、消費される読み取りスループットに対して課金されます。詳細については、検索インデックスの請求対象項目を参照してください。

前提条件

検索インデックスを作成するときに、ベクトル フィールドが指定されます。詳細については、検索インデックスの作成を参照してください。

使用上の注意

KNN ベクトル クエリ機能を使用する場合は、次の点に注意してください。

• ベクトル フィールドの数とベクトル フィールドの次元数には制限があります。詳細については、検索インデックスの制限を参照してください。

• 検索インデックス サーバーには複数のパ artition があります。検索インデックス サーバーの各パーティションは、クエリ対象のベクトルに最も近い上位 K 個の近傍を返します。パーティションによって返される上位 K 個の近傍は、クライアント ノードで集計されます。トークンを使用してすべてのデータをページごとにクエリする場合、レスポンスの合計行数は検索インデックス サーバーのパーティション数に関連しています。

• KNN ベクトル クエリ機能は、次のリージョンでサポートされています。中国 (杭州)、中国 (上海)、中国 (青島)、中国 (北京)、中国 (張家口)、中国 (ウランチャブ)、中国 (深圳)、中国 (広州)、中国 (成都)、中国 (香港)、シンガポール、マレーシア (クアラルンプール)、タイ (バンコク)、米国 (バージニア)、インドネシア (ジャカルタ)、日本 (東京)、ドイツ (フランクフルト)、英国 (ロンドン)、SAU (リヤド - パートナー リージョン)、フィリピン (マニラ)。

API 操作

Search オペレーションを呼び出し、クエリ タイプを KnnVectorQuery に設定して、KNN ベクトル クエリ機能を使用できます。

パラメータ

メソッド

Tablestore コンソールまたは Tablestore SDK を使用して、KNN ベクトル クエリ機能を使用できます。KNN ベクトル クエリ機能を使用してデータをクエリする前に、次の要件が満たされていることを確認してください。

• Alibaba Cloud アカウントまたは Tablestore で操作を実行するためのアクセス許可を持つ Resource Access Management (RAM) ユーザーを持っている。RAM ユーザーに Tablestore での操作アクセス許可を付与する方法の詳細については、RAM ポリシーを使用して RAM ユーザーにアクセス許可を付与するを参照してください。

  Tablestore SDK または Tablestore CLI を使用して Tablestore で操作を実行する場合、Alibaba Cloud アカウントまたは RAM ユーザーの AccessKey ペアが作成されます。詳細については、AccessKey ペアの作成を参照してください。

• データ テーブルが作成されている。詳細については、データ テーブルの操作を参照してください。

• データ テーブルの検索インデックスが作成されている。詳細については、検索インデックスの作成を参照してください。

  検索インデックスを作成するときに、ベクトル フィールドが指定されます。

• Tablestore SDK を使用して Tablestore で操作を実行する場合、OTSClient インスタンスが初期化されている。詳細については、OTSClient インスタンスの初期化を参照してください。

private static void knnVectorQuery(SyncClient client) {
    SearchQuery searchQuery = new SearchQuery();
    KnnVectorQuery query = new KnnVectorQuery();
    query.setFieldName("Col_Vector");
    query.setTopK(10); // 指定されたベクトルと最も類似性の高い上位 10 個のベクトルをテーブルで返します。
    query.setFloat32QueryVector(new float[]{0.1f, 0.2f, 0.3f, 0.4f});
    // 上位 10 個のベクトルのクエリ条件を指定します。Col_Keyword 列の値は hangzhou で、Col_Long 列の値は 4 未満です。
    query.setFilter(QueryBuilders.bool()
            .must(QueryBuilders.term("Col_Keyword", "hangzhou"))
            .must(QueryBuilders.range("Col_Long").lessThan(4))
    );
    searchQuery.setQuery(query);
    searchQuery.setLimit(10);
    // クエリ結果をスコアに基づいて並べ替えます。
    searchQuery.setSort(new Sort(Collections.singletonList(new ScoreSort())));
    SearchRequest searchRequest = new SearchRequest("<TABLE_NAME>", "<SEARCH_INDEX_NAME>", searchQuery);
    SearchRequest.ColumnsToGet columnsToGet = new SearchRequest.ColumnsToGet();
    columnsToGet.setColumns(Arrays.asList("Col_Keyword", "Col_Long"));
    searchRequest.setColumnsToGet(columnsToGet);
    // Search オペレーションを呼び出します。
    SearchResponse resp = client.search(searchRequest);
    for (SearchHit hit : resp.getSearchHits()) {
        // スコアを表示します。
        System.out.println(hit.getScore());
        // データを表示します。
        System.out.println(hit.getRow());
    }
}

関連情報

• 検索インデックスを使用してデータをクエリする場合、次のクエリ方法を使用できます。ターム クエリ、タームズ クエリ、すべて一致クエリ、一致クエリ、一致フレーズ クエリ、プレフィックス クエリ、範囲クエリ、ワイルドカード クエリ、あいまいクエリ、ブール クエリ、地理クエリ、ネスト クエリ、KNN ベクトル クエリ、存在クエリ。ビジネス要件に基づいてクエリ方法を選択して、複数の次元からデータをクエリできます。

  並べ替え機能とページング機能を使用して、クエリ条件を満たす行を並べ替えたりページ分割したりできます。詳細については、並べ替えとページングの実行を参照してください。

  折りたたみ (個別) 機能を使用して、特定の列に基づいて結果セットを折りたたむことができます。これにより、指定されたタイプのデータがクエリ結果に 1 回だけ表示されます。詳細については、折りたたみ (個別)を参照してください。

• データ テーブルのデータを分析する場合は、Search オペレーションの集計機能を使用するか、SQL ステートメントを実行できます。たとえば、最小値、最大値、合計、および合計行数を取得できます。詳細については、集計とSQL クエリを参照してください。

• 行を並べ替えることなく、クエリ条件を満たすすべての行を取得する場合は、ParallelScan および ComputeSplits オペレーションを呼び出して、並列スキャン機能を使用できます。詳細については、並列スキャンを参照してください。

付録 1: KNN ベクトル クエリとブール クエリの組み合わせ

KNN ベクトル クエリとブール クエリをさまざまな組み合わせで使用できます。クエリのパフォーマンスは、使用する組み合わせによって異なります。このセクションの例では、少量のデータがフィルタ条件を満たしています。

この例では、100 億枚の画像がテーブルに保存されており、50,000 枚の画像がユーザー A に属しています。50,000 枚の画像のうち、50 枚の画像が過去 7 日間に保存されています。ユーザー A は、50 枚の画像の中で指定された画像と最も類似性の高い 10 枚の画像を検索したいと考えています。次の表に、ユーザー A がクエリ要件を満たすために使用できる KNN ベクトル クエリとブール クエリの 2 つの一般的な組み合わせを示します。

付録 2: ベクトルの正規化のサンプル

次のサンプル コードは、ベクトルを正規化する方法の例を示しています。

  public static float[] l2normalize(float[] v, boolean throwOnZero) {
    double squareSum = 0.0f;
    int dim = v.length;
    for (float x : v) {
      squareSum += x * x;
    }
    if (squareSum == 0) {
      if (throwOnZero) {
        throw new IllegalArgumentException("ゼロ長のベクトルを正規化できません");
      } else {
        return v;
      }
    }
    double length = Math.sqrt(squareSum);
    for (int i = 0; i < dim; i++) {
      v[i] /= length;
    }
    return v;
  }