Tablestore：建立多元索引

最佳使用方式

請根據實際查詢需求確定在一張資料表中建立多元索引的個數。

例如一張資料表有5個欄位，分別為id、name、age、city、sex，需要按照name、age或city查詢資料時，有兩種建立多元索引的方式。

• 方法一：一個欄位建立一個多元索引

  按照name、age或city欄位分別建立多元索引，名稱分別為name_index、age_index、city_index。

  • 如果按照城市查詢學生，則查詢city_index，如果按照年齡查詢學生，則查詢age_index。

  • 如果查詢年齡小於12歲且城市是成都的學生，此種方式就無法查詢。

  此方式的實作類別似於全域二級索引，使用此方式建立多元索引會帶來更高的費用，因此不建議使用此方式建立多元索引。

• 方法二（推薦）：多個欄位建立在一個多元索引中

  將name、age和city欄位建立在一個多元索引中，名稱為student_index。

  • 如果按照城市查詢學生，則查詢student_index中city欄位；如果按照年齡查詢學生，則查詢student_index中age欄位。

  • 如果查詢年齡小於12歲且城市是成都的學生，則查詢student_index中age和city欄位。

  此方式才能發揮多元索引最大優勢，不僅功能更豐富，而且價格會更低。極力推薦使用此方式建立多元索引。

使用限制

• 建立索引的時效性

  建立多元索引後，需要等幾秒鐘才能使用，但是此過程中不影響資料寫入，隻影響索引元資訊的查詢和索引查詢。

• 建立多元索引時，請確保多元索引中的欄位類型與表中的欄位類型相匹配。更多資訊，請參見基礎資料類型及映射。

• 數量限制

  更多資訊，請參見多元索引限制。

參數

建立多元索引時，需要指定資料表名稱（tableName）、多元索引名稱（indexName）和索引的結構資訊（indexSchema），其中indexSchema包含fieldSchemas（Index所有欄位的設定）、indexSetting（索引設定）和indexSort（索引預排序設定）。詳細參數說明請參見下表。

注意事項

• 當要實現全文檢索索引時，您可以在多元索引中將欄位設定為可分詞字串（TEXT）類型並為TEXT類型的欄位設定分詞，然後使用匹配查詢或短語匹配查詢功能查詢資料。關於分詞的更多資訊，請參見分詞。

• 在不修改Table Store的儲存結構及資料的情況下，當要實現新欄位和新資料類型的查詢功能時，您可以在多元索引中將欄位設定為虛擬列。更多資訊，請參見虛擬列。

• 當要使用日期資料類型進行資料查詢時，您可以在多元索引中將資料表中的整型（Integer）或字串（String）類型的資料對應為日期資料類型。更多資訊，請參見日期時間類型。

• 當要使用數值向量進行近似最近鄰查詢時，您可以在多元索引中將欄位設定為向量類型，然後使用向量檢索介紹與使用功能查詢資料。

• 當要使用數群組類型儲存資料時，您可以在資料表中以String類型欄位儲存資料，然後在多元索引中將欄位設定為數組。

  在寫入資料到資料表中時，數群組類型欄位的值必須按照JSON數組格式寫入，例如["a","b","c"]。

  說明

  數群組類型僅是多元索引中的概念，資料表中還不支援數組。更多資訊，請參見數組和巢狀型別。

• 當要使用單欄位儲存存在層次關係或者一對多關聯性的資料時，您可以在多元索引中將欄位設定為巢狀型別，然後使用巢狀型別查詢功能查詢資料。

  在寫入資料到資料表中時，巢狀型別欄位的值必須按照JSON數組格式寫入，例如[{"tagName":"tag1", "score":0.8}, {"tagName":"tag2", "score":0.2}]。

• 當要儲存的資料為地理位置資訊時，您可以在多元索引中將欄位設定為地理位置（Geo-point）類型，然後使用地理距離查詢、地理長方形範圍查詢或地理多邊形範圍查詢功能查詢資料。

• 系統預設使用分區鍵作為路由鍵，當要使用其他主鍵列作為路由鍵來定向搜尋指定資料分區，以減少長尾對延遲的影響時，您可以修改路由欄位配置。更多資訊，請參見多元索引路由欄位的使用。

• 多元索引預設按照主鍵升序的排序方式返回查詢結果，當要按照指定欄位值或主鍵降序進行預排序時，您可以修改預排序方式。更多資訊，請參見索引預排序。

• 當要實現自動清理多元索引中的歷史資料時，您可以使用多元索引的資料生命週期（TTL）功能有效地管理資料，減少資料存放區空間，降低儲存成本。更多資訊，請參見生命週期管理。

• 當要在查詢結果中高亮反白匹配到的關鍵詞時，您可以使用查詢高亮功能實現。更多資訊，請參見摘要與高亮。

使用方式

您可以使用控制台、命令列工具或者SDK進行建立多元索引操作。

進行多元索引建立之前，您需要完成如下準備工作。

• 使用阿里雲帳號或者具有Table Store操作許可權的RAM使用者進行操作。如果需要為RAM使用者授權Table Store操作許可權，請參見通過RAM Policy為RAM使用者授權進行配置。

  使用SDK方式和命令列工具方式進行操作時，如果當前無可用AccessKey，則需要為阿里雲帳號或者RAM使用者建立AccessKey。具體操作，請參見建立AccessKey。

• 已建立資料表。具體操作，請參見資料表操作。

• 使用SDK方式進行操作時，還需要完成初始化Client。具體操作，請參見初始化OTSClient。

• 使用命令列工具進行操作前，還需要完成下載並啟動命令列工具，然後配置接入執行個體資訊。具體操作，請參見下載命令列工具和啟動並配置接入資訊。

private static void createSearchIndex(SyncClient client) {
    CreateSearchIndexRequest request = new CreateSearchIndexRequest();
    //設定資料表名稱。
    request.setTableName("<TABLE_NAME>"); 
    //設定多元索引名稱。
    request.setIndexName("<SEARCH_INDEX_NAME>"); 
    IndexSchema indexSchema = new IndexSchema();
    indexSchema.setFieldSchemas(Arrays.asList(
            //設定欄位名和類型。
            new FieldSchema("Col_Keyword", FieldType.KEYWORD), 
            new FieldSchema("Col_Long", FieldType.LONG),
            // 設定向量類型。
            new FieldSchema("Col_Vector", FieldType.VECTOR).setIndex(true)
                    // 向量維度為4，相似性演算法為點積。
                    .setVectorOptions(new VectorOptions(VectorDataType.FLOAT_32, 4, VectorMetricType.DOT_PRODUCT))
    ));
    request.setIndexSchema(indexSchema);
    //調用client建立多元索引。
    client.createSearchIndex(request); 
}

private static void createSearchIndexWithIndexSort(SyncClient client) {
    CreateSearchIndexRequest request = new CreateSearchIndexRequest();
    //設定資料表名稱。
    request.setTableName("<TABLE_NAME>"); 
    //設定多元索引名稱。
    request.setIndexName("<SEARCH_INDEX_NAME>"); 
    IndexSchema indexSchema = new IndexSchema();
    indexSchema.setFieldSchemas(Arrays.asList(
            new FieldSchema("Col_Keyword", FieldType.KEYWORD),
            new FieldSchema("Col_Long", FieldType.LONG),
            new FieldSchema("Col_Text", FieldType.TEXT),
            new FieldSchema("Timestamp", FieldType.LONG)
                    .setEnableSortAndAgg(true)));
    //設定按照Timestamp列進行預排序。
    indexSchema.setIndexSort(new Sort(
            Arrays.<Sort.Sorter>asList(new FieldSort("Timestamp", SortOrder.ASC))));
    request.setIndexSchema(indexSchema);
    //調用client建立多元索引。
    client.createSearchIndex(request);
}

// 請使用5.12.0及以上版本的Java SDK。
public static void createIndexWithTTL(SyncClient client) {
    int days = 7;
    CreateSearchIndexRequest request = new CreateSearchIndexRequest();
    //設定資料表名稱。
    request.setTableName("<TABLE_NAME>");
    //設定多元索引名稱。
    request.setIndexName("<SEARCH_INDEX_NAME>");
    IndexSchema indexSchema = new IndexSchema();
    indexSchema.setFieldSchemas(Arrays.asList(
            //設定欄位名和類型。
            new FieldSchema("Col_Keyword", FieldType.KEYWORD), 
            new FieldSchema("Col_Long", FieldType.LONG)));
    request.setIndexSchema(indexSchema);
    //設定多元索引TTL。
    request.setTimeToLiveInDays(days);
    //調用client建立多元索引。
    client.createSearchIndex(request);
}

private static void createSearchIndex(SyncClient client) {
    CreateSearchIndexRequest request = new CreateSearchIndexRequest();
    //設定資料表名稱。
    request.setTableName("<TABLE_NAME>"); 
    //設定多元索引名稱。
    request.setIndexName("<SEARCH_INDEX_NAME>"); 
    IndexSchema indexSchema = new IndexSchema();
    indexSchema.setFieldSchemas(Arrays.asList(
        //設定欄位名和類型。
        new FieldSchema("Col_Keyword", FieldType.KEYWORD), 
        //設定欄位名和類型。
        new FieldSchema("Col_Keyword_Virtual_Long", FieldType.LONG) 
             //設定欄位是否為虛擬列。
            .setVirtualField(true) 
             //虛擬列對應的資料表中欄位。
            .setSourceFieldName("Col_Keyword"), 
        new FieldSchema("Col_Long", FieldType.LONG),
        new FieldSchema("Col_Long_Virtual_Keyword", FieldType.KEYWORD)
            .setVirtualField(true)
            .setSourceFieldName("Col_Long")));
    request.setIndexSchema(indexSchema);
    //調用client建立多元索引。
    client.createSearchIndex(request); 
}

private static void createSearchIndexwithHighlighting(SyncClient client) {
    CreateSearchIndexRequest request = new CreateSearchIndexRequest();
    //設定資料表名稱。
    request.setTableName("<TABLE_NAME>"); 
    //設定多元索引名稱。
    request.setIndexName("<SEARCH_INDEX_NAME>"); 
    IndexSchema indexSchema = new IndexSchema();
    indexSchema.setFieldSchemas(Arrays.asList(
            //設定欄位名和類型。
            new FieldSchema("Col_Keyword", FieldType.KEYWORD), 
            new FieldSchema("Col_Long", FieldType.LONG),
            //為欄位開啟查詢高亮功能。
            new FieldSchema("Col_Text", FieldType.TEXT).setIndex(true).setEnableHighlighting(true)
    ));
    request.setIndexSchema(indexSchema);
    //調用client建立多元索引。
    client.createSearchIndex(request); 
}

後續操作

建立多元索引後，您可以通過多元索引進行資料查詢、資料分析與資料匯出。

相關文檔

建立多元索引後，請根據需要執行相應操作。

• 如果希望清理多元索引中的歷史資料或者希望延長資料儲存時間，您可以修改多元索引的資料生命週期。具體操作，請參見生命週期管理。

• 如果要在多元索引中新增、更新或者刪除索引列，您可以使用動態修改schema功能實現。具體操作，請參見動態修改schema。

• 如果要擷取某個資料表關聯的所有多元索引的列表資訊，您可以使用列出多元索引列表功能實現。具體操作，請參見列出多元索引列表。

• 如果要查詢多元索引的描述資訊，包括多元索引的欄位資訊和索引配置等，您可以使用查詢多元索引描述資訊功能實現。具體操作，請參見查詢多元索引描述資訊。

• 如果不再需要使用多元索引，您可以刪除多元索引。具體操作，請參見刪除多元索引。

• 您還可以使用SQL查詢功能或者通過MaxCompute、Spark、Hive或者HadoopMR、Function Compute、Flink、PrestoDB等計算引擎計算與分析表中資料。具體操作，請參見SQL查詢和計算與分析概述。

附錄：距離度量演算法說明

向量的距離度量演算法說明請參見下表，其中評分公式的值越大表示的相似性越大。

向量歸一化的範例程式碼如下：

  public static float[] l2normalize(float[] v, boolean throwOnZero) {
    double squareSum = 0.0f;
    int dim = v.length;
    for (float x : v) {
      squareSum += x * x;
    }
    if (squareSum == 0) {
      if (throwOnZero) {
        throw new IllegalArgumentException("can't normalize a zero-length vector");
      } else {
        return v;
      }
    }
    double length = Math.sqrt(squareSum);
    for (int i = 0; i < dim; i++) {
      v[i] /= length;
    }
    return v;
  }