Tablestore：向量檢索介紹與使用

應用情境

向量檢索適用於推薦系統、映像與視頻檢索、自然語言處理與語義搜尋等情境。

• 檢索增強產生（RAG）

  RAG是一種將檢索能力和大模型能力結合在一起的AI架構，通過檢索能力增強大模型輸出結果的準確性，尤其是在私域資料或者專業資料領域可以大幅提升大模型輸出結果的準確性。當前廣泛應用於知識庫情境。

• 推薦系統

  在電商、社交媒體、視頻流媒體等平台中，使用者行為、偏好、內容特徵等內容可以編碼為向量進行儲存，然後通過向量檢索快速找到與使用者興趣相匹配的產品、文章或視頻，實現個人化推薦，提升使用者滿意度和留存率。

• 相似性檢測（映像、視頻和語音等）

  在映像，視頻、語音、聲紋和Face Service等領域中，可以將這些非結構化的資料轉換為向量表示，然後通過向量檢索快速找到最相似的目標。例如，在電商平台中，使用者上傳一張圖片後，系統能迅速找出具有類似樣式、顏色或圖案的商品圖片。

• 自然語言處理與語義搜尋

  在NLP領域，將文本轉換為向量表示（例如Word2Vec、BERT嵌入等），然後通過向量檢索理解查詢語句的語義，並找出語義上最相關的文檔、新聞、問答等內容，提升搜尋結果的相關性和使用者體驗。

• 知識圖譜與智能問答

  知識圖譜節點和關係可以表示為向量，通過向量檢索能夠加速實體連結、關係推理以及智能問答系統的響應速度，使系統能夠更準確地理解和回回覆雜的問題。

功能概述

向量檢索（KnnVectorQuery）使用數值向量進行近似最近鄰查詢，可以在大規模資料集中找到最相似的資料項目。

向量檢索繼承了多元索引的所有特性，無需部署搭建系統，即開即用，隨用隨付。支援多元索引的流式構建，資料寫入表後近即時可查詢；支援高吞吐的新增、更新和刪除；查詢效能和採用HNSW演算法的系統相當。

使用KnnVectorQuery功能查詢資料時，您可以需要指定要查詢相似性的向量、要匹配的向量欄位以及要查詢的最鄰近TopK個值，來擷取向量欄位中與要查詢相似性的向量最相似的TopK個值。您還可以組合使用其他非向量檢索的查詢功能來過濾查詢結果。

產品核心優勢

計費說明

公測期間，使用向量索引不引入額外的向量索引專用計費項目，當前按照已有模式進行計費。

使用多元索引查詢資料時會消耗讀輸送量。更多資訊，請參見多元索引計量計費。

前提條件

建立多元索引時已配置向量欄位。具體操作，請參見建立多元索引。

注意事項

使用向量檢索時，請注意如下事項：

• 向量欄位類型的個數、維度等存在限制。更多資訊，請參見多元索引限制。

• 由於多元索引服務端是多分區的，多元索引服務端的每個分區均會返回自身最鄰近的TopK個值並在協調節點進行匯總，因此如果要使用Token翻頁擷取所有資料，則擷取到的總行數與多元索引服務端的分區數有關。

• 目前支援使用向量檢索功能的地區包括華東1（杭州）、華東2（上海）、華北1（青島）、華北2（北京）、華北3（張家口）、華南1（深圳）、華南3（廣州）、西南1（成都）、中國香港、新加坡、馬來西亞（吉隆坡）、印尼（雅加達）、日本（東京）、德國（法蘭克福）、英國（倫敦）、沙特（利雅得）和菲律賓（馬尼拉）。

介面

向量檢索的介面為Search，具體的Query類型為KnnVectorQuery。

參數

使用方式

您可以使用控制台或者SDK進行向量檢索。進行向量檢索之前，您需要完成如下準備工作。

• 使用阿里雲帳號或者使用具有Table Store操作許可權的RAM使用者進行操作。如果需要為RAM使用者授權Table Store操作許可權，請參見通過RAM Policy為RAM使用者授權進行配置。

  使用SDK方式和命令列工具方式進行操作時，如果當前無可用AccessKey，則需要為阿里雲帳號或者RAM使用者建立AccessKey。具體操作，請參見建立AccessKey。

• 已建立資料表。具體操作，請參見資料表操作。

• 已為資料表建立多元索引。具體操作，請參見建立多元索引。

  在建立多元索引時需要配置向量欄位。

• 使用SDK方式進行操作時，還需要完成初始化Client。具體操作，請參見初始化OTSClient。

private static void knnVectorQuery(SyncClient client) {
    SearchQuery searchQuery = new SearchQuery();
    KnnVectorQuery query = new KnnVectorQuery();
    query.setFieldName("Col_Vector");
    query.setTopK(10); // 返回最鄰近的topK。
    query.setFloat32QueryVector(new float[]{0.1f, 0.2f, 0.3f, 0.4f});
    // 最鄰近的向量需要滿足Col_Keyword=hangzhou && Col_Long<4條件。
    query.setFilter(QueryBuilders.bool()
            .must(QueryBuilders.term("Col_Keyword", "hangzhou"))
            .must(QueryBuilders.range("Col_Long").lessThan(4))
    );
    searchQuery.setQuery(query);
    searchQuery.setLimit(10);
    // 按照分數排序。
    searchQuery.setSort(new Sort(Collections.singletonList(new ScoreSort())));
    SearchRequest searchRequest = new SearchRequest("<TABLE_NAME>", "<SEARCH_INDEX_NAME>", searchQuery);
    SearchRequest.ColumnsToGet columnsToGet = new SearchRequest.ColumnsToGet();
    columnsToGet.setColumns(Arrays.asList("Col_Keyword", "Col_Long"));
    searchRequest.setColumnsToGet(columnsToGet);
    // 訪問Search介面。
    SearchResponse resp = client.search(searchRequest);
    for (SearchHit hit : resp.getSearchHits()) {
        // 列印分數。
        System.out.println(hit.getScore());
        // 列印資料。
        System.out.println(hit.getRow());
    }
}

相關文檔

• 多元索引查詢類型包括精確查詢、多詞精確查詢、全匹配查詢、匹配查詢、短語匹配查詢、首碼查詢、範圍查詢、萬用字元查詢、基於分詞的萬用字元查詢、多條件組合查詢、地理位置查詢、巢狀型別查詢、向量檢索介紹與使用和列存在性查詢，您可以選擇合適的查詢類型進行多維度資料查詢。

  如果要對結果集進行排序或者翻頁，您可以使用排序和翻頁功能來實現。具體操作，請參見排序和翻頁。

  如果要按照某一列對結果集做摺疊，使對應類型的資料在結果展示中只出現一次，您可以使用摺疊（去重）功能來實現。具體操作，請參見摺疊（去重）。

• 如果要進行資料分析，例如求最值、求和、統計行數等，您可以使用Search介面的統計彙總功能或者SQL查詢來實現。具體操作，請參見統計彙總和SQL查詢。

• 如果要快速匯出資料，而不關心整個結果集的順序時，您可以使用ParallelScan介面和ComputeSplits介面實現多並發匯出資料。具體操作，請參見並發匯出資料。

附錄1：與BoolQuery組合使用說明

KnnVectorQuery可以和BoolQuery自由組合使用，不同的組合使用方式會有不同的效果，以下對兩種常見的使用方式進行說明。此處以一個Filter命中資料量較少的情境為例進行介紹。

假設表中有1億張圖片，其中使用者“a”總計有5萬張圖片，但是近7天內僅有50張圖片，使用者“a”希望以圖搜圖的方式找到7天內最相似的10張圖片。由下表說明可知KnnVectorQuery的Filter內部使用BoolQuery的組合使用方式能滿足使用者“a”的查詢需求。

附錄2：向量歸一化樣本

向量歸一化的範例程式碼如下：

  public static float[] l2normalize(float[] v, boolean throwOnZero) {
    double squareSum = 0.0f;
    int dim = v.length;
    for (float x : v) {
      squareSum += x * x;
    }
    if (squareSum == 0) {
      if (throwOnZero) {
        throw new IllegalArgumentException("can't normalize a zero-length vector");
      } else {
        return v;
      }
    }
    double length = Math.sqrt(squareSum);
    for (int i = 0; i < dim; i++) {
      v[i] /= length;
    }
    return v;
  }