使用多元索引查詢資料時,通過預先定義排序方式或者查詢時指定排序方式,您可以按照指定相片順序擷取到返回資料。當返回結果行數較多時,通過使用跳轉翻頁或者連續翻頁可以快速定位到所需資料。
使用情境
分類 | 使用方式 | 功能 | 使用情境 |
排序 | 建立時指定排序方式 | 多元索引預設按照設定的索引預排序(IndexSort)方式進行排序,用於確定資料的預設返回順序。 | |
查詢時指定排序方式 | 按照查詢結果的相關性(BM25演算法)分數進行排序,適用於有相關性的情境,例如全文檢索索引等。 | ||
按照主鍵進行排序,適用於按照事物標識排序的情境。 | |||
按照欄位值進行排序,適用於電商、社交媒資等按照事物屬性排序的情境,例如商品銷量、瀏覽量等。 | |||
根據地理點距離進行排序,適用於地圖、物流等按照距離排序事物的情境,例如某個位置周邊餐廳按距離排序等。 數群組類型、巢狀型別等多重值欄位可以使用此方式通過指定mode參數來控制參與排序的元素。 | |||
翻頁 | 查詢時指定翻頁方式 | 返回結果行數小於100000行時用於跳轉翻頁。 | |
用於連續翻頁,預設只能向後翻頁。由於在一次查詢的翻頁過程中token長期有效,您可以通過緩衝並使用之前的token實現向前翻頁。 |
索引預排序
多元索引預設按照設定的索引預排序(IndexSort)方式進行排序,使用多元索引查詢資料時,IndexSort決定了資料的預設返回順序。
在建立多元索引時,您可以自訂IndexSort,如果未自訂IndexSort,則IndexSort預設為主鍵排序。
索引預排序只支援PrimaryKeySort (按照主鍵排序)和FieldSort(按照欄位值排序)兩種方式。
含有Nested類型欄位的多元索引不支援索引預排序。
查詢時排序
只有enableSortAndAgg設定為true的欄位才能進行排序。
在每次查詢時,可以指定排序方式,多元索引支援如下四種排序方式(Sorter)。您也可以使用多個Sorter,實現先按照某種方式排序,再按照另一種方式排序的需求。
ScoreSort
按照查詢結果的相關性(BM25演算法)分數進行排序,適用於有相關性的情境,例如全文檢索索引等。
如果需要按照相關性打分進行排序,必須手動設定ScoreSort,否則會按照索引設定的IndexSort進行排序。
SearchQuery searchQuery = new SearchQuery();
searchQuery.setSort(new Sort(Arrays.asList(new ScoreSort())));
PrimaryKeySort
按照主鍵進行排序。
SearchQuery searchQuery = new SearchQuery();
searchQuery.setSort(new Sort(Arrays.asList(new PrimaryKeySort()))); //正序。
//searchQuery.setSort(new Sort(Arrays.asList(new PrimaryKeySort(SortOrder.DESC)))); //逆序。
FieldSort
按照列值進行排序。
單列排序
按照某列的值進行排序。
SearchQuery searchQuery = new SearchQuery();
searchQuery.setSort(new Sort(Arrays.asList(new FieldSort("col", SortOrder.ASC))));
多列排序
先按照某列的值進行排序,再按照另一列的值進行排序。
SearchQuery searchQuery = new SearchQuery();
searchQuery.setSort(new Sort(Arrays.asList(
new FieldSort("col1", SortOrder.ASC), new FieldSort("col2", SortOrder.ASC))));
補償排序
按照Long類型、Double類型或者Date類型的列值進行排序時,您可以通過設定missingField參數指定類型相同的其他列作為某行缺失該列時的補償值來參與排序。
/**
* 基於Col_Long列的值逆序排序。如果某行Col_Long列(Long類型)的資料缺失,則使用Col_Long_sec列(Long類型)的資料替換Col_Long列資料用於排序。
*/
SearchQuery searchQuery = new SearchQuery();
FieldSort fieldSort = new FieldSort("Col_Long");
//指定Col_Long_sec列的值作為某行缺失Col_Long列時的預設值來參與排序。
fieldSort.setMissingField("Col_Long_sec");
fieldSort.setOrder(SortOrder.DESC);
多值排序
對於數群組類型、巢狀型別等多重值欄位可以通過指定mode參數來控制參與排序的元素。
按照數組多值的指定列值進行排序。
// 有doc1和doc2兩行資料,其field1列為數群組類型。doc1的field1列值為[2,3],doc2的field1列值為[1,3,4]。
// 您可以通過設定mode參數來指定按照數組中的哪個值進行排序。
{
// 當設定mode參數為SortMode.MAX時,排序結果為doc2(4參與排序)、doc1(3參與排序)。
FieldSort fieldSort = new FieldSort("field1", SortOrder.DESC);
fieldSort.setMode(SortMode.MAX);
}
{
// 當設定mode參數為SortMode.MIN時,排序結果為doc1(2參與排序)、doc2(1參與排序)。
FieldSort fieldSort = new FieldSort("field1", SortOrder.DESC);
fieldSort.setMode(SortMode.MIN);
}
您也可以對Nested類型欄位的子行進行排序。
// 有doc1和doc2兩行資料,其field1列為Nested類型。
// doc1的field1列值為[{"name":"b", "age":1},{"name":"a", "age":7}]。
// doc2的field1列值為[{"name":"a", "age":1},{"name":"c", "age":1},{"name":"d", "age":5}]
{
// 對所有子行進行排序,通過設定mode參數來指定按照哪個值進行排序。
// 當設定mode參數為SortMode.MAX時,按照age列排序的排序結果為doc1(7參與排序)、doc2(5參與排序)。
FieldSort fieldSort = new FieldSort("field1.age", SortOrder.DESC);
fieldSort.setMode(SortMode.MAX);
String path = "field1";
NestedFilter nestedFilter = new NestedFilter(path, QueryBuilders.matchAll().build());
fieldSort.setNestedFilter(nestedFilter);
}
{
// 僅對age=1的子行進行排序,通過設定mode參數來指定按照哪個值進行排序。
{
// 當設定mode參數為SortMode.MAX時,按照name列排序的排序結果為doc2("c"參與排序)、doc1("b"參與排序)
FieldSort fieldSort = new FieldSort("field1.name", SortOrder.DESC);
fieldSort.setMode(SortMode.MAX);
String path = "field1";
NestedFilter nestedFilter = new NestedFilter(path, QueryBuilders.term("field1.age",1).build());
fieldSort.setNestedFilter(nestedFilter);
}
{
// 當設定mode參數為SortMode.MIN時,按照name列排序的排序結果為doc1("b"參與排序)、doc2("a"參與排序)。
FieldSort fieldSort = new FieldSort("field1.name", SortOrder.DESC);
fieldSort.setMode(SortMode.MIN);
String path = "field1";
NestedFilter nestedFilter = new NestedFilter(path, QueryBuilders.term("field1.age",1).build());
fieldSort.setNestedFilter(nestedFilter);
}
}
GeoDistanceSort
根據地理點距離進行排序。
SearchQuery searchQuery = new SearchQuery();
//geo列為Geopoint類型,按照此列的值距離"0,0"點的距離進行排序。
Sort.Sorter sorter = new GeoDistanceSort("geo", Arrays.asList("0, 0"));
searchQuery.setSort(new Sort(Arrays.asList(sorter)));
翻頁方式
在擷取返回結果時,可以使用limit和offset或者使用token進行翻頁。
使用limit和offset翻頁
當需要擷取的返回結果行數小於100000行時,可以使用limit和offset進行翻頁,即limit+offset<=100000,其中limit的最大值為100。
如果需要提高limit的上限,請參見如何將多元索引 Search 介面查詢資料的 limit 提高到 1000。
如果使用此方式進行翻頁時未設定limit和offset,則limit的預設值為10,offset的預設值為0。
SearchQuery searchQuery = new SearchQuery();
searchQuery.setQuery(new MatchAllQuery());
searchQuery.setLimit(100);
searchQuery.setOffset(100);
使用token翻頁
由於使用token進行翻頁時翻頁深度無限制,當需要進行深度翻頁時,推薦使用token進行翻頁。
當符合查詢條件的資料未讀取完時,服務端會返回nextToken,此時可以使用nextToken繼續讀取後面的資料。
使用token進行翻頁時預設只能向後翻頁。由於在一次查詢的翻頁過程中token長期有效,您可以通過緩衝並使用之前的token實現向前翻頁。
如果需要持久化nextToken或者傳輸nextToken給前端頁面,您可以使用Base64編碼將nextToken編碼為String進行儲存和傳輸。token本身不是字串,直接使用new String(nextToken)
將token編碼為String會造成token資訊丟失。
使用token翻頁後的排序方式和上一次請求的一致,無論是系統預設使用IndexSort還是自訂排序,因此設定了token不能再設定Sort。另外使用token後不能設定offset,只能依次往後讀取,即無法跳頁。
由於含有Nested類型欄位的多元索引不支援索引預排序,如果使用含有Nested類型欄位的多元索引查詢資料且需要翻頁,則必須在查詢條件中指定資料返回的排序方式,否則當符合查詢條件的資料未讀取完時,服務端不會返回nextToken。
private static void readMoreRowsWithToken(SyncClient client) {
SearchQuery searchQuery = new SearchQuery();
searchQuery.setQuery(new MatchAllQuery());
searchQuery.setGetTotalCount(true);//設定返回匹配的總行數。
// 依次配置資料表名稱(例如sampleTable)和多元索引名稱(例如sampleSearchIndex)。您可以在Table Store控制台的資料表的“索引管理”頁簽或者通過SDK列出多元索引列表擷取所需多元索引名稱。
SearchRequest searchRequest = new SearchRequest("<TABLE_NAME>", "<SEARCH_INDEX_NAME>", searchQuery);
SearchResponse resp = client.search(searchRequest);
if (!resp.isAllSuccess()) {
throw new RuntimeException("not all success");
}
List<Row> rows = resp.getRows();
while (resp.getNextToken()!=null) { // 當讀取到nextToken為null時,表示讀出全部資料。
// 擷取nextToken。
byte[] nextToken = resp.getNextToken();
{
// 如果需要持久化nextToken或者傳輸nextToken給前端頁面,您可以使用Base64編碼將nextToken編碼為String進行儲存和傳輸。
// token本身不是字串,直接使用new String(nextToken)將token編碼為String會造成token資訊丟失。
String tokenAsString = Base64.toBase64String(nextToken);
// 將String解碼為byte。
byte[] tokenAsByte = Base64.fromBase64String(tokenAsString);
}
// 將token設定到下一次請求中。
searchRequest.getSearchQuery().setToken(nextToken);
resp = client.search(searchRequest);
if (!resp.isAllSuccess()) {
throw new RuntimeException("not all success");
}
rows.addAll(resp.getRows());
}
System.out.println("RowSize: " + rows.size());
System.out.println("TotalCount: " + resp.getTotalCount());// 列印匹配到的總行數,非返回行數。
}
常見問題
相關文檔
多元索引查詢類型包括精確查詢、多詞精確查詢、全匹配查詢、匹配查詢、短語匹配查詢、首碼查詢、範圍查詢、萬用字元查詢、地理位置查詢、向量檢索、多條件組合查詢、巢狀型別查詢和列存在性查詢,您可以選擇合適的查詢類型進行多維度資料查詢。
如果要對結果集進行排序或者翻頁,您可以使用排序和翻頁功能來實現。具體操作,請參見排序和翻頁。
如果要按照某一列對結果集做摺疊,使對應類型的資料在結果展示中只出現一次,您可以使用摺疊(去重)功能來實現。具體操作,請參見摺疊(去重)。
如果要進行資料分析,例如求最值、求和、統計行數等,您可以使用Search介面的統計彙總功能或者SQL查詢來實現。具體操作,請參見統計彙總和SQL查詢。
如果要快速匯出資料,而不關心整個結果集的順序時,您可以使用ParallelScan介面和ComputeSplits介面實現多並發匯出資料。具體操作,請參見並發匯出資料。