使用多元索引查詢資料時,通過預先定義排序方式或者查詢時指定排序方式,您可以按照指定相片順序擷取到返回資料。當返回結果行數較多時,通過使用跳轉翻頁或者連續翻頁可以快速定位到所需資料。
使用情境
分類 | 使用方式 | 功能 | 使用情境 |
排序 | 建立時指定排序方式 | 多元索引預設按照設定的索引預排序(IndexSort)方式進行排序,用於確定資料的預設返回順序。 | |
查詢時指定排序方式 | 按照查詢結果的相關性(BM25演算法)分數進行排序,適用於有相關性的情境,例如全文檢索索引等。 | ||
按照主鍵進行排序,適用於按照事物標識排序的情境。 | |||
按照欄位值進行排序,適用於電商、社交媒資等按照事物屬性排序的情境,例如商品銷量、瀏覽量等。 | |||
根據地理點距離進行排序,適用於地圖、物流等按照距離排序事物的情境,例如某個位置周邊餐廳按距離排序等。 | |||
翻頁 | 查詢時指定翻頁方式 | 返回結果行數小於50000行時用於跳轉翻頁。 | |
用於連續翻頁,預設只能向後翻頁。由於在一次查詢的翻頁過程中token長期有效,您可以通過緩衝並使用之前的token實現向前翻頁。 |
索引預排序
多元索引預設按照設定的索引預排序(IndexSort)方式進行排序,使用多元索引查詢資料時,IndexSort決定了資料的預設返回順序。
在建立多元索引時,您可以自訂IndexSort,如果未自訂IndexSort,則IndexSort預設為主鍵排序。
索引預排序只支援PrimaryKeySort (按照主鍵排序)和FieldSort(按照欄位值排序)兩種方式。
含有Nested類型欄位的多元索引不支援索引預排序。
建立多元索引後,如果要修改多元索引的IndexSort,您可以使用動態修改schema功能實現。具體操作,請參見動態修改schema。
查詢時排序
只有enable_sort_and_agg設定為True的欄位才能進行排序。
在每次查詢時,可以指定排序方式,多元索引支援如下四種排序方式(Sorter)。您也可以使用多個Sorter,實現先按照某種方式排序,再按照另一種方式排序的需求。
ScoreSort
按照查詢結果的相關性(BM25演算法)分數進行排序,適用於有相關性的情境,例如全文檢索索引等。
如果需要按照相關性打分進行排序,必須手動設定ScoreSort,否則會按照索引設定的IndexSort進行排序。
sort = Sort(
sorters=[ScoreSort(sort_order=SortOrder.DESC)]
)
client.search(
'<TABLE_NAME>', '<SEARCH_INDEX_NAME>', SearchQuery(query, sort=sort, limit=100, get_total_count=True), ColumnsToGet(return_type=ColumnReturnType.ALL)
)
PrimaryKeySort
按照主鍵進行排序。
sort = Sort(
sorters=[PrimaryKeySort(sort_order=SortOrder.DESC)]
)
client.search(
'<TABLE_NAME>', '<SEARCH_INDEX_NAME>', SearchQuery(query, sort=sort, limit=100, get_total_count=True), ColumnsToGet(return_type=ColumnReturnType.ALL)
) = PrimaryKeySort(sort_order=SortOrder.DESC)
FieldSort
按照列值進行排序。
單列排序
按照某列的值進行排序
sort = Sort( sorters=[FieldSort('a', SortOrder.ASC)] ) client.search( '<TABLE_NAME>', '<SEARCH_INDEX_NAME>', SearchQuery(query, sort=sort, limit=100, get_total_count=True), ColumnsToGet(return_type=ColumnReturnType.ALL) )
多列排序
先按照某列的值進行排序,再按照另一列的值進行排序。
sort = Sort( sorters=[ FieldSort('a', SortOrder.ASC), FieldSort('b', SortOrder.ASC) ] ) client.search( '<TABLE_NAME>', '<SEARCH_INDEX_NAME>', SearchQuery(query, sort=sort, limit=100, get_total_count=True), ColumnsToGet(return_type=ColumnReturnType.ALL) )
GeoDistanceSort
根據地理點距離進行排序。
sort = Sort(
sorters=[GeoDistanceSort('g', ['32.5,116.5', '32.0,116.0'], sort_order=SortOrder.DESC, sort_mode=SortMode.MAX)]
)
client.search(
'<TABLE_NAME>', '<SEARCH_INDEX_NAME>', SearchQuery(query, sort=sort, limit=100, get_total_count=True), ColumnsToGet(return_type=ColumnReturnType.ALL)
)
翻頁方式
在擷取返回結果時,可以使用limit和offset或者使用token進行翻頁。
使用limit和offset翻頁
當需要擷取的返回結果行數小於50000行時,可以使用limit和offset進行翻頁,即limit+offset<=50000,其中limit的最大值為100。
如果需要提高limit的上限,請參見如何將多元索引Search介面查詢資料的limit提高到1000。
如果使用此方式進行翻頁時未設定limit和offset,則limit的預設值為10,offset的預設值為0。
query = RangeQuery('k', 'key100', 'key500', include_lower=False, include_upper=False)
search_response = client.search(
'<TABLE_NAME>', '<SEARCH_INDEX_NAME>',
SearchQuery(query, offset=100, limit=100, get_total_count=True),
ColumnsToGet(return_type=ColumnReturnType.ALL)
)
print('request_id : %s' % search_response.request_id)
print('is_all_succeed : %s' % search_response.is_all_succeed)
print('total_count : %s' % search_response.total_count)
print('rows : %s' % search_response.rows)
使用token翻頁
由於使用token進行翻頁時翻頁深度無限制,當需要進行深度翻頁時,推薦使用token進行翻頁。
當符合查詢條件的資料未讀取完時,服務端會返回next_token,此時可以使用next_token繼續讀取後面的資料。
使用token進行翻頁時預設只能向後翻頁。由於在一次查詢的翻頁過程中token長期有效,您可以通過緩衝並使用之前的token實現向前翻頁。
使用token翻頁後的排序方式和上一次請求的一致,無論是系統預設使用IndexSort還是自訂排序,因此設定了token不能再設定Sort。另外使用token後不能設定offset,只能依次往後讀取,即無法跳頁。
由於含有Nested類型欄位的多元索引不支援索引預排序,如果使用含有Nested類型欄位的多元索引查詢資料且需要翻頁,則必須在查詢條件中指定資料返回的排序方式,否則當符合查詢條件的資料未讀取完時,服務端不會返回next_token。
query = MatchAllQuery()
all_rows = []
next_token = None
# first round
search_response = client.search('<TABLE_NAME>', '<SEARCH_INDEX_NAME>',
SearchQuery(query, next_token=next_token, limit=100, get_total_count=True),
columns_to_get=ColumnsToGet(['k', 't', 'g', 'ka', 'la'], ColumnReturnType.SPECIFIED))
all_rows.extend(search_response.rows)
# loop
while search_response.next_token:
search_response = client.search('<TABLE_NAME>', '<SEARCH_INDEX_NAME>',
SearchQuery(query, next_token=search_response.next_token, sort=None, limit=100, get_total_count=True),
columns_to_get=ColumnsToGet(['k', 't', 'g', 'ka', 'la'], ColumnReturnType.SPECIFIED))
all_rows.extend(search_response.rows)
print('Total rows:%d' % len(all_rows))
常見問題
相關文檔
多元索引查詢類型包括精確查詢、多詞精確查詢、全匹配查詢、匹配查詢、短語匹配查詢、首碼查詢、範圍查詢、萬用字元查詢、多條件組合查詢、地理位置查詢、巢狀型別查詢、向量檢索和列存在性查詢,您可以選擇合適的查詢類型進行多維度資料查詢。
如果要對結果集進行排序或者翻頁,您可以使用排序和翻頁功能來實現。具體操作,請參見排序和翻頁。
如果要按照某一列對結果集做摺疊,使對應類型的資料在結果展示中只出現一次,您可以使用摺疊(去重)功能來實現。具體操作,請參見摺疊(去重)。
如果要進行資料分析,例如求最值、求和、統計行數等,您可以使用Search介面的統計彙總功能或者SQL查詢來實現。具體操作,請參見統計彙總和SQL查詢。
如果要快速匯出資料,而不關心整個結果集的順序時,您可以使用ParallelScan介面和ComputeSplits介面實現多並發匯出資料。具體操作,請參見並發匯出資料。