多元索引如何折叠去重 - 表格存储

当数据查询的结果中含有某种类型的数据较多时，可以使用折叠（Collapse）功能按照某一列对结果集做折叠，使对应类型的数据在结果展示中只出现一次，保证结果展示中类型的多样性。

折叠功能可以在大部分场景下实现去重（Distinct）功能，相当于按照折叠列做去重，但是只支持应用于整型、浮点数和Keyword类型的列，不支持数组类型的列，且只能返回排序后的前50000个结果。

注意事项

折叠功能只能使用offset+limit方式翻页，不能使用token方式。
对结果集同时使用统计聚合与折叠功能时，统计聚合功能只作用于使用折叠功能前的结果集。
使用折叠功能后，返回的总分组数取决于offset+limit的最大值，目前支持返回的总分组数最大为50000。
执行结果中返回的总行数是使用折叠功能前的匹配行数，使用折叠功能后的总分组数无法获取。

接口

折叠（去重）功能的接口为Search，通过collapse参数实现。

参数

参数	说明
query	可以是任意Query类型。
collapse	折叠参数设置，包含fieldName设置。 fieldName：列名，按该列对结果集做折叠，只支持应用于整型、浮点数和Keyword类型的列，不支持数组类型的列。
offset	本次查询的开始位置。
limit	本次查询需要返回的最大数量。如果只为了获取行数，无需具体数据，可以设置limit=0，即不返回任意一行数据。
getTotalCount	是否返回匹配的总行数，默认为false，表示不返回。返回匹配的总行数会影响查询性能。
tableName	数据表名称。
indexName	多元索引名称。
columnsToGet	是否返回所有列，包含returnAll和columns设置。 returnAll默认为false，表示不返回所有列，此时可以通过columns指定返回的列；如果未通过columns指定返回的列，则只返回主键列。当设置returnAll为true时，表示返回所有列。

使用方式

您可以使用命令行工具或者SDK在查询数据时进行折叠（去重）。进行折叠（去重）之前，您需要完成如下准备工作。

使用阿里云账号或者使用具有表格存储操作权限的RAM用户进行操作。如果需要为RAM用户授权表格存储操作权限，请参见通过RAM Policy为RAM用户授权进行配置。
使用SDK方式和命令行工具方式进行操作时，如果当前无可用AccessKey，则需要为阿里云账号或者RAM用户创建AccessKey。具体操作，请参见创建AccessKey。
已创建数据表。具体操作，请参见数据表操作。
已为数据表创建多元索引。具体操作，请参见创建多元索引。
使用SDK方式进行操作时，还需要完成初始化Client。具体操作，请参见初始化OTSClient。
使用命令行工具方式进行操作前，还需要完成下载并启动命令行工具，然后配置接入实例信息并选择要操作的表。具体操作，请参见下载命令行工具、启动并配置和数据表操作。

使用命令行工具

通过命令行工具执行search命令使用多元索引查询数据，并在查询条件中配置Collapse参数实现折叠（去重）功能。更多信息，请参见多元索引。

执行search命令使用search_index多元索引查询表中数据，并返回所有建立索引的列。
```
search -n search_index --return_all_indexed
```

根据系统提示输入查询条件，示例如下：

{
    "Offset": -1,
    "Limit": 10,
    "Collapse": {
        "FieldName": "product_name"
    },
    "Sort": null,
    "GetTotalCount": true,
    "Token": null,
    "Query": {
        "Name": "MatchQuery",
        "Query": {
            "FieldName": "user_id",
            "Text": "00002",
            "MinimumShouldMatch": 1
        }
    }
}

使用SDK

您可以通过Java SDK、Go SDK、Python SDK、Node.js SDK、.NET SDK和PHP SDK在查询数据时进行折叠（去重）。此处以Java SDK为例介绍折叠（去重）的使用。

以下示例用于查询表中user_id列的值能够匹配"00002"的数据，结果集按照product_name列的值做折叠。

private static void UseCollapse(SyncClient client){
    SearchQuery searchQuery = new SearchQuery(); //构造查询条件。
    MatchQuery matchQuery = new MatchQuery();
    matchQuery.setFieldName("user_id");
    matchQuery.setText("00002");

    searchQuery.setQuery(matchQuery);
    Collapse collapse = new Collapse("product_name"); //根据"product_name"列对结果集做折叠。
    searchQuery.setCollapse(collapse);

    //searchQuery.setOffset(1000);//本次查询的开始位置。
    searchQuery.setLimit(20);
    //searchQuery.setGetTotalCount(true);//设置返回匹配的总行数。

    SearchRequest searchRequest = new SearchRequest("<TABLE_NAME>", "<SEARCH_INDEX_NAME>", searchQuery);//设置数据表名称和多元索引名称。    
    //通过设置columnsToGet参数可以指定返回的列或返回所有列，如果不设置此参数，则默认只返回主键列。
    //SearchRequest.ColumnsToGet columnsToGet = new SearchRequest.ColumnsToGet();
    //columnsToGet.setReturnAll(true); //设置为返回所有列。
    //columnsToGet.setColumns(Arrays.asList("ColName1","ColName2")); //设置为返回指定列。
    //searchRequest.setColumnsToGet(columnsToGet);

    SearchResponse response = client.search(searchRequest);  
    //System.out.println(response.getTotalCount());    
    //System.out.println(response.getRows().size()); //根据"product_name"列的产品种类返回个数。
    System.out.println(response.getRows()); //根据"product_name"列的产品种类返回相应产品名称。
}

计费说明

使用多元索引查询数据时会消耗读吞吐量。更多信息，请参见多元索引计量计费。

在查询数据时使用折叠（去重）功能不会影响现有计费规则。

表格存储：折叠（去重）

注意事项

接口

参数

使用方式

计费说明

常见问题

相关文档