打散子句可以在一定程度上保證展示結果的多樣性,以提升使用者體驗。如一次查詢可以查出很多的文檔,但是如果某個使用者的多個文檔分值都比較高,則都排在了前面,導致一頁中所展示的結果幾乎都屬於同一使用者,這樣既不利於結果展示也不利於使用者體驗。對此,打散子句可以對每個使用者的文檔進行抽取,使得每個使用者都有展示文檔的機會。
文法說明
子句文法格式為:dist_key:field,dist_count:1,dist_times:1,reserved:false
參數 | 類型 | 必需 | 取值範圍 | 預設值 | 描述 |
dist_key | string | 是 | 要打散的欄位 | ||
dist_times | int | 否 | 1 | 抽取的輪數 | |
dist_count | int | 否 | 1 | 一輪抽取的文檔數 | |
reserved | true/false | 否 | true/false | true | 是否保留抽取之後剩餘的文檔。如果為false,為不保留,則搜尋結果的total(總匹配結果數)會不準確。 |
update_total_hit | true/false | 否 | true/false | false | 當reserved為false時,設定update_total_hit為true,則最終total_hit會減去被distinct丟棄的數目(不一定準確),為false則不減。 |
dist_filter | string | 否 | 過濾條件,被過濾的doc不參與distinct,只在後面的排序中,這些被過濾的doc將和被distinct出來的第一組doc一起參與排序。預設是全部參與distinct。 | ||
grade | float | 否 | 指定檔位劃分閾值,所有的文檔將根據檔位劃分閾值劃分成若干檔,每個檔位中各自根據distinct參數做distinct,可以不指定該參數,預設是所有文檔都在同一檔。檔位的劃分按照文檔排序時第一維的排序依據的分數進行劃分,兩個檔位閾值之間用 “|” 分開,檔位的個數沒有限制。例如:1、grade:3.0 :表示根據第一維排序依據的分數分成兩檔,(< 3.0)的是第一檔,(>= 3.0) 的是第二檔;2、grade:3.0|5.0 :表示分成三檔,(< 3.0)是第一檔,(>= 3.0,< 5.0)是第二檔,(>= 5.0)是第三檔。檔位的先後順序和第一維排序依據的順序一致,即如果第一維排序依據是降序,則檔位也是降序,反之亦然。 |
dist_count和dist_times說明
以下範例用來解釋和說明dist_count和dist_times的用法及含義:假設有6篇文檔,id為主鍵,name為需要做打散的欄位:
doc1: id:11 name:a
doc2: id:22 name:a
doc3: id:33 name:a
doc4: id:44 name:b
doc5: id:55 name:c
doc6: id:66 name:c
case1:distinct=dist_key:name,dist_count:2,dist_times:1,reserved:false
表示抽取1輪,且一輪抽取2條文檔。打散結果是:doc1 doc2 doc4 doc5 doc6
case2:distinct=dist_key:name,dist_count:1,dist_times:2,reserved:false
表示抽取2輪,且每輪抽取1條文檔。打散結果是:doc1 doc4 doc5 doc2 doc6
case3:distinct=dist_key:name,dist_count:1,dist_times:1,reserved:false
表示抽取1輪,且一輪抽取1條文檔。打散結果是:doc1 doc4 doc5
注意事項
distinct為非必選子句。
在distinct中出現的欄位必須在定義應用結構的同時配置為屬性欄位。
不支援array類型,只支援int和literal欄位類型。
不支援指定多個 dist_key 。
目前排序沒有自動去重的功能,但是可以通過distinct彙總實現去重的結果,例如:要對相同title的文章去重,將title設定為dist_key,抽取1輪,每輪抽取1個文檔即可。
distinct uniq外掛程式
如上面描述,如果reserved=false情況下,會導致搜尋結果中的total及viewtotal不準確,如果使用者需要依賴於這個值進行翻頁或者其他處理,則會有問題。為此,系統提供了distinct uniq的外掛程式來解決在dist_times:1,dist_count:1,reserved:false的情況下的total及viewtotal展示不準確。 在kvpairs中添加duniqfield:field即可。 例:kvpairs=duniqfield:name
注意:
field必須與distinct子句中的dist_key一致。
該外掛程式僅在dist_times:1,dist_count:1,reserved:false查詢下起作用,任何參數值有變化都將無效。
出於效能考慮,目前該外掛程式最大支援total值為5000,即使真實搜尋結果數超過5000,也會返回5000。
只有添加distinct uniq外掛程式的,真實搜尋結果數超過5000,也會返回5000,沒有添加的不會只統計到5000。
使用該外掛程式並且查詢命中資料量比較大(超百萬級)的情況下,查詢容易逾時。
樣本
查看create_time(建立時間)在1402301230之後且包含“浙大”的文檔,並按照company_id欄位進行打散抽取10輪,每輪取2個結果,抽取後的文檔排在後面:
query=default:'浙大'&&filter=create_time>1402301230&&distinct=dist_key:company_id,dist_count:2,dist_times:10
查看包含“浙大”的文檔,且按照company_id欄位進行打散抽取1輪,每輪取1個結果,抽取後的文檔丟棄(要求返回結果數為丟棄後的):
query=default:'浙大'&&distinct=dist_key:company_id,dist_count:1,dist_times:1,reserved:false&&kvpairs=duniqfield:company_id