AnalyticDB：AnalyticDB PostgreSQL稀疏向量使用指南

建立稀疏向量表

文法

CREATE TABLE <SparseVectorTable> 
(  
    id int PRIMARY KEY,
    description text, 
    ...,
    sparse_vector svector(MAX_DIM), 
)DISTRIBUTED BY（id);

參數說明：

• SparseVectorTable：向量表名稱。

• sparse_vector：稀疏向量列，為svector類型。

• MAX_DIM：稀疏向量的最大維度（非有值維度數量）。

使用樣本

建立一個名為svector_test的稀疏向量表，具體樣本如下：

-- 建立一個帶稀疏向量欄位的表
CREATE TABLE <svector_test>(  
    id bigint,
    type int,
    tag varchar(10),
    document text,
    sparse_features svector(250000)
) DISTRIBUTED BY (id);

-- 設定稀疏向量列為Plain模式
ALTER TABLE <svector_test> ALTER COLUMN sparse_features SET storage plain;

建立稀疏向量索引

文法

稀疏向量的索引僅支援內積距離度量，不支援PQ量化和MMAP模式。文法規則如下：

CREATE INDEX <idx_sparse_vector>
ON MyTable USING vector_index (sparse_vector_column);
WITH (DISTANCEMEASURE=IP,
      HNSW_M=$M,
      HNSW_EF_CONSTRUCTION=$EF_CONSTURCTION);

參數說明：

• idx_sparse_vector：向量索引名稱。

• DISTANCEMEASURE：取值為IP，否則會出現參數報錯。

• HNSW_M和HNSW_EF_CONSTRUCTION：參考建立向量索引。

使用樣本

以使用樣本中的svector_test稀疏向量表為例，建立稀疏向量索引，具體樣本如下：

-- 根據混合查詢的結構化欄位為其建立btree索引,如果結構化欄位為數群組類型，也可以添加gin索引
CREATE INDEX svector_test(type);
CREATE INDEX svector_test(tag);

-- 為稀疏向量列建立一個HNSW索引
CREATE INDEX ON svector_test USING ANN(sparse_features) WITH(DISTANCEMEASURE=IP,HNSW_M=64,pq_enable=0,external_storage=0);

稀疏向量資料的表示

在雲原生資料倉儲AnalyticDB PostgreSQL版中，通過使用svector類型可以表示稀疏向量。svector類型支援以JSON格式的字串輸入，需要包含indices欄位和values欄位，分別表示下標數組（非負整數）和對應的值數組（浮點數）。一個20維的稀疏向量可以作如下資料表示：

[0, 0, 1.1, 0, 0, 0, 2.2, 0, 0, 3.3, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]

{"indices":[2, 6, 9], "values":[1.1, 2.2, 3.3]}

在雲原生資料倉儲AnalyticDB PostgreSQL版資料庫中，使用svector可以將字串轉換為稀疏向量類型，SQL語句如下所示：

postgres=# SELECT '{"indices":[2, 6, 9], "values":[1.1, 2.2, 3.3]}'::svector;
svector
--------------------------------------------
{"indices":[2,6,9],"values":[1.1,2.2,3.3]}
(1 ROW)

稀疏向量資料的匯入

稀疏向量的資料匯入支援INSERT和COPY文法，以使用樣本中的svector_test稀疏向量表為例，介紹INSERT的使用方法，具體樣本如下：

-- 插入稀疏向量
INSERT INTO svector_test VALUES (1, 1, 'a', 'xxx', '{"indices":[2, 6, 9], "values":[1.1, 2.2, 3.3]}'::svector);
INSERT INTO svector_test VALUES (2, 2, 'b', 'xxx', '{"indices":[50, 100, 200], "values":[2.1, 3.2, 4.3]}'::svector);
INSERT INTO svector_test VALUES (3, 3, 'b', 'xxx', '{"indices":[150, 60, 90], "values":[5, 1e3, 1e-3]}'::svector);

稀疏向量的檢索

稀疏向量檢索分為精確檢索和近似檢索。

• 精確檢索：完全按照相似性距離排序的暴力檢索。該方式需要比較每一個向量，因此檢索速度慢，但是召回率可以達到100%。該方法適用於對即時性要求不高，但對精確度要求高的情境。

• 近似檢索：通過最佳化演算法快速找到近似的結果。雖然精確度有所降低，但檢索速度快。該方法適用於對即時性要求較高，但對精確度要求不嚴格的情境。

文法

對於稀疏向量表來說，稀疏向量檢索只支援內積距離度量的檢索方式。精確檢索和近似檢索的文法如下。

SELECT id, inner_product(<sparse_vector>, '{"indices":[1,2,..], "values":[1.1,2.2...]}'::svector) 
AS score FROM <SparseVectorTable> ORDER BY negative_inner_product(<sparse_vector>, 
'{"indices":[1,2,..], "values":[1.1,2.2...]}'::svector) LIMIT <topk>;

SELECT id, inner_product(<sparse_vector>, '{"indices":[1,2,..], "values":[1.1,2.2...]}'::svector) 
AS score FROM <SparseVectorTable> ORDER BY <sparse_vector>
'{"indices":[1,2,..], "values":[1.1,2.2...]}'::svector LIMIT <topk>;

使用樣本

以使用樣本中的svector_test稀疏向量表為例，使用稀疏向量檢索的樣本如下：

SELECT id, sparse_features, 
'{"indices":[2,60,50], "values":[2,0.01, 0.02]}' <#> sparse_features AS score 
FROM svector_test
ORDER BY score
LIMIT 3;

   id   |                 sparse_features                 |        score
--------+-------------------------------------------------+---------------------
      3 | {"indices":[60,90,150],"values":[1000,0.001,5]} |                 -10
      1 | {"indices":[2,6,9],"values":[1.1,2.2,3.3]}      |   -2.20000004768372
      2 | {"indices":[50,100,200],"values":[2.1,3.2,4.3]} | -0.0419999957084656
(3 ROWS)

稀疏向量檢索相關的核心參數

稀疏向量支援的向量函數

向量函數的使用樣本

-- 歐氏距離
SELECT l2_distance('{"indices":[1,2,3,4,5,6], "values":[1,2,3,4,5,6]}'::svector, '{"indices":[1,2,3,4,5,6], "values":[2,3,4,5,6,7]}'::svector);
-- 內積距離
SELECT inner_product('{"indices":[1,2,3,4,5,6], "values":[1,2,3,4,5,6]}'::svector, '{"indices":[1,2,3,4,5,6], "values":[2,3,4,5,6,7]}'::svector);
-- 餘弦相似性
SELECT l2_distance('{"indices":[1,2,3,4,5,6], "values":[1,2,3,4,5,6]}'::svector, '{"indices":[1,2,3,4,5,6], "values":[2,3,4,5,6,7]}'::svector);
-- 向量加法
SELECT svector_add('{"indices":[1,2,3,4,5,6], "values":[1,2,3,4,5,6]}'::svector, '{"indices":[1,2,3,4,5,6], "values":[2,3,4,5,6,7]}'::svector);
-- 向量減法
SELECT svector_sub('{"indices":[1,2,3,4,5,6], "values":[1,2,3,4,5,6]}'::svector, '{"indices":[1,2,3,4,5,6], "values":[2,3,4,5,6,7]}'::svector);
-- 向量乘法
SELECT svector_mul('{"indices":[1,2,3,4,5,6], "values":[1,2,3,4,5,6]}'::svector, '{"indices":[1,2,3,4,5,6], "values":[2,3,4,5,6,7]}'::svector);
-- 歐氏平方距離
SELECT l2_squared_distance('{"indices":[1,2,3,4,5,6], "values":[1,2,3,4,5,6]}'::svector, '{"indices":[1,2,3,4,5,6], "values":[2,3,4,5,6,7]}'::svector);
-- 反內積距離
SELECT negative_inner_product('{"indices":[1,2,3,4,5,6], "values":[1,2,3,4,5,6]}'::svector, '{"indices":[1,2,3,4,5,6], "values":[2,3,4,5,6,7]}'::svector);
-- 餘弦距離
SELECT cosine_distance('{"indices":[1,2,3,4,5,6], "values":[1,2,3,4,5,6]}'::svector, '{"indices":[1,2,3,4,5,6], "values":[2,3,4,5,6,7]}'::svector);

稀疏向量支援的向量操作符

向量操作符樣本

-- 歐氏平方距離
SELECT '{"indices":[1,2,3,4,5,6], "values":[1,2,3,4,5,6]}'::svector <-> '{"indices":[1,2,3,4,5,6], "values":[2,3,4,5,6,7]}'::svector AS score;

-- 反內積距離
SELECT '{"indices":[1,2,3,4,5,6], "values":[1,2,3,4,5,6]}'::svector <#> '{"indices":[1,2,3,4,5,6], "values":[2,3,4,5,6,7]}'::svector AS score;

-- 餘弦距離
SELECT '{"indices":[1,2,3,4,5,6], "values":[1,2,3,4,5,6]}'::svector <=> '{"indices":[1,2,3,4,5,6], "values":[2,3,4,5,6,7]}'::svector AS score;

-- 加法
SELECT '{"indices":[1,2,3,4,5,6], "values":[1,2,3,4,5,6]}'::svector + '{"indices":[1,2,3,4,5,6], "values":[2,3,4,5,6,7]}'::svector AS value;

-- 減法
SELECT '{"indices":[1,2,3,4,5,6], "values":[1,2,3,4,5,6]}'::svector + '{"indices":[1,2,3,4,5,6], "values":[2,3,4,5,6,7]}'::svector AS value;

-- 乘法
SELECT '{"indices":[1,2,3,4,5,6], "values":[1,2,3,4,5,6]}'::svector * '{"indices":[1,2,3,4,5,6], "values":[2,3,4,5,6,7]}'::svector AS value;