AnalyticDB:ベクトル検索を実行する

正確な検索

厳密検索法は、すべてのベクトル間の距離または類似性を比較する総当たり検索法である。 この方法は、低い応答速度をもたらすが、100% 再現率を達成することができる。

ユークリッド距離、内積距離、またはコサイン類似度に基づいて正確な検索を実行できます。

• ユークリッド距離

  SELECT ID, l2_distance(<VECTOR_COLUMN_NAME>, array[1,2,3...N]::float4[]) as score FROM <TABLE_NAME> ORDER BY l2_squared_distance(<VECTOR_COLUMN_NAME>, array[1,2,3...N]::float4[]) LIMIT <TOPK>;

• 内部プロダクト間隔

  SELECT ID, inner_product_distance(<VECTOR_COLUMN_NAME>, array[1,2,3...N]::float4[]) as score FROM <TABLE_NAME> ORDER BY negative_inner_product_distance(<VECTOR_COLUMN_NAME>, array[1,2,3...N]::float4[]) LIMIT <TOPK>;

• コサイン類似性

  SELECT ID, cosine_similarity(<VECTOR_COLUMN_NAME>, array[1,2,3...N]::float4[]) as score FROM <TABLE_NAME> ORDER BY 
  cosine_distance(<VECTOR_COLUMN_NAME>, array[1,2,3...N]::float4[]) LIMIT <TOPK>;

パラメーター：

• スコア: ユークリッド距離、内積距離、またはコサイン類似度。 ベクトルは、昇順のユークリッド距離によって、または降順の内積距離またはコサイン類似度によってソートされます。

• <VECTOR_COLUMN_NAME>: ベクトル列の名前。

• <TABLE_NAME>: ベクトルテーブルの名前。

• <TOPK>: トップ結果セットの数。

おおよそのインデックス検索

近似インデックス検索方法は、HNSWインデックスを使用してデータを検索します。 このメソッドは高速に動作しますが、99% を超えるリコール率でおおよその結果を返します。

SELECT id, chunk, intime, url FROM chunks
ORDER BY
    feature <=> array[10,2.0,..., 1536.0]::real[]
LIMIT 100;

QUERY PLAN
-------------------------------------------------
 Limit
   ->  Gather Motion 3:1  (slice1; segments: 3)
         Merge Key: ((feature <=> $0))
          ->  Limit
               ->  Ann Index Scan using feature_idx on chunks
                Order By: (feature <=> $0)
 Optimizer: Postgres query optimizer

SELECT id, chunk, intime, url FROM chunks WHERE
    intime > '2023-04-01' AND intime <= '2023-05-01'
ORDER BY
    feature <=> array[10,2.0,..., 1536.0]::real[]
LIMIT 100;

関連ドキュメント

ベクトル検索のSQL最适化

このセクションでは、ベクトル検索のSQL最適化について説明します。 ベクトルテーブルを作成した後、ビジネス要件に基づいてベクトル列に複数のベクトルインデックスを作成できます。 SQL文と関連するインデックスは一致する必要があります。 たとえば、<-> 演算子はユークリッド距離を使用して作成されたインデックスのみを処理でき、<#> 演算子は内積距離を使用して作成されたインデックスのみを処理でき、<=> 演算子はコサイン類似度を使用して作成されたインデックスのみを処理できます。

CREATE TABLE test_table (
    id serial primary key,
    feature real[]
) distributed by (id);

CREATE INDEX idx_test_table_feature_l2 ON test_table USING ann(feature) WITH (dim=768, distancemeasure=l2, hnsw_m=64, pq_enable=1);
CREATE INDEX idx_test_table_feature_ip ON test_table USING ann(feature) WITH (dim=768, distancemeasure=ip, hnsw_m=64, pq_enable=1);
CREATE INDEX idx_test_table_feature_cosine ON test_table USING ann(feature) WITH (dim=768, distancemeasure=cosine, hnsw_m=64, pq_enable=1);

• ベクトル距離のスコア値を返さない場合は、次のSQL文を実行してベクトルデータを照会できます。

  -- Search vector data based on the Euclidean distance. 
  SELECT id 
  FROM test_table
  ORDER BY feature <-> array[1,2,3 ... 768]::real[]
  LIMIT topk;
  
  -- Search vector data based on the inner product distance. 
  SELECT id
  FROM test_table
  ORDER BY feature <#> array[1,2,3 ... 768]::real[]
  LIMIT topk;
  
  -- Search vector data based on the cosine similarity. 
  SELECT id
  FROM test_table
  ORDER BY feature <=> array[1,2,3 ... 768]::real[]
  LIMIT topk;

• ベクトル距離のスコア値を返す場合は、ベクトルインデックスのソート結果を使用して、ベクトル距離の実際のスコア値を計算できます。 これは、完全なベクトル距離計算プロセスを回避し、計算に必要な時間量を削減する。 サンプル文:

  -- Search vector data based on the Euclidean distance. 
  SELECT t.id as id, sqrt(t.score) as score 
  FROM 
    (SELECT id, feature <-> array[1,2,3 ... 768]::real[] as score
     FROM test_table
     ORDER BY score LIMIT topk) t;
  
  -- Search vector data based on the inner product distance. 
  SELECT t.id as id, (-1 * t.score) as score
  FROM
    (SELECT id, feature <#> array[1,2,3 ... 768]::real[] as score
     FROM test_table
     ORDER BY score LIMIT topk) t;
  
  -- Search vector data based on the cosine similarity. 
  SELECT t.id as id, (1.0 - t.score) as score
  FROM 
    (SELECT id, feature <=> array[1,2,3 ... 768]::real[] as score
     FROM test_table
     ORDER BY score LIMIT topk) t;

• スコア範囲に基づいてフィルタリングされた結果を返す場合は、次のSQL文を実行してベクトルデータを照会できます。 ステートメントは、ベクトルインデックスのソート結果を使用して、ベクトル距離の最終スコア値を計算します。 これにより、計算に要する時間が短縮される。

  -- Search vector data based on the Euclidean distance. 
  SELECT t.id as id, sqrt(t.score) as score 
  FROM 
    (SELECT id, feature <-> array[1,2,3 ... 768]::real[] as score
     FROM test_table
     ORDER BY score LIMIT topk) t
  WHERE score < 100;
  
  -- Search vector data based on the inner product distance. 
  SELECT t.id as id, (-1 * t.score) as score
  FROM
    (SELECT id, feature <#> array[1,2,3 ... 768]::real[] as score
     FROM test_table
     ORDER BY score LIMIT topk) t
  WHERE score > 10;
  
  -- Search vector data based on the cosine similarity. 
  SELECT t.id as id, (1.0 - t.score) as score
  FROM 
    (SELECT id, feature <=> array[1,2,3 ... 768]::real[] as score
     FROM test_table
     ORDER BY score LIMIT topk) t
  WHERE score > 0.5;

エンジンパラメータ関連ベクトル検索

上記のパラメーターをセッションに設定できます。