您可以將資料彙總節點類比為Flink SQL的視窗函數,該節點的作用是將解析任務中流轉的訊息按照視窗進行彙總計算。通過該節點彙總產生多樣化的資料,可用於後續分析或輸出。
使用說明
目前支援的Flink SQL的視窗函數規則為滾動時間視窗(TUMBLE),詳細說明,請參見滾動視窗。
資料彙總節點僅提供10s、15s、30s、1min、5min、15min、30min幾種固定長度的時間視窗。
如果需要的時間視窗超過30min,建議通過分析洞察中的SQL分析工作台,通過小時調度實現,請參見SQL分析。
如果您有自訂需求,可以聯絡技術支援人員提需求。
應用情境
某園區節能系統需要做到節能降本,其中一個子任務是需要以分鐘為單位,找到園區中空調溫度(temperature)最高的會議室。此時,可以定義資料彙總節點,以會議室ID(roomId)為彙總粒度,視窗長度1分鐘,彙總演算法為MAX
,輸出欄位會議室ID(roomId)和分鐘級最高溫度(max_temperature)。
前提條件
已配置資料計算的運算式或資料過濾的篩選器,具體操作,請參見配置資料計算和資料過濾。
背景資訊
操作步驟
在中間畫布單擊當前節點後的添加表徵圖。
在彈出的節點列表中單擊資料彙總節點。
在畫布中單擊資料彙總節點,在右側配置面板,參照下表,配置資料彙總欄位。
配置項
參數
說明
樣本
基礎配置
分組欄位
選擇用於視窗函數中資料分區的欄位列表(彙總粒度),取值不受視窗彙總邏輯影響,例如:產品金鑰(ProductKey),裝置名稱(DeviceName)等。
以“應用情境”的樣本為例:要統計每個會議室的最高溫度,選擇對應的分組欄位為會議室ID(roomId)。
視窗長度
選擇視窗長度,可選:10s、15s、30s、1min、5min、15min、30min。
如果超過1小時視窗,請使用SQL工作台小時調度。具體內容,請參見SQL分析中的設定任務調度策略。
如果您有自訂需求,可以聯絡技術支援人員提需求。
以“應用情境”的樣本為例:1min。
被彙總欄位列表
設定如下資訊:
以“應用情境”的樣本為例:
被彙總欄位:選擇空調溫度temperature。
彙總結果欄位名:分鐘級最高溫度max_temperature。
彙總操作:選擇MAX。
進階配置
延遲容忍
單位為秒。
如果訊息亂序造成資料比實際的視窗延遲上報,設定該欄位可使延遲達到的資料能在正確的視窗上進行計算。使用邏輯類比Flink SQL的Watermark,請參見Flink SQL的時間屬性。
使用預設值。
下面為以“應用情境”為例的一個具體配置:
單擊資料解析工作台右上方的儲存,完成資料彙總節點的配置。
重要該節點的輸出欄位為分組欄位和彙總結果欄位列表,上一節點的其他欄位不會作為該節點的輸出欄位。
後續操作
配置完相鄰訊息計算節點後,您可以繼續配置其他處理節點,也可以配置目標節點完成整個解析任務配置。