全部產品
Search
文件中心

IoT Platform:配置資料彙總

更新時間:Jun 30, 2024

您可以將資料彙總節點類比為Flink SQL的視窗函數,該節點的作用是將解析任務中流轉的訊息按照視窗進行彙總計算。通過該節點彙總產生多樣化的資料,可用於後續分析或輸出。

使用說明

目前支援的Flink SQL的視窗函數規則為滾動時間視窗(TUMBLE),詳細說明,請參見滾動視窗

資料彙總節點僅提供10s、15s、30s、1min、5min、15min、30min幾種固定長度的時間視窗。

說明
  • 如果需要的時間視窗超過30min,建議通過分析洞察中的SQL分析工作台,通過小時調度實現,請參見SQL分析

  • 如果您有自訂需求,可以聯絡技術支援人員提需求。

應用情境

某園區節能系統需要做到節能降本,其中一個子任務是需要以分鐘為單位,找到園區中空調溫度(temperature)最高的會議室。此時,可以定義資料彙總節點,以會議室ID(roomId)為彙總粒度,視窗長度1分鐘,彙總演算法為MAX,輸出欄位會議室ID(roomId)和分鐘級最高溫度(max_temperature)。

前提條件

已配置資料計算的運算式或資料過濾的篩選器,具體操作,請參見配置資料計算和資料過濾

背景資訊

操作步驟

  1. 進入資料解析工作台

  2. 在中間畫布單擊當前節點後的添加image表徵圖。

  3. 在彈出的節點列表中單擊資料彙總節點。

  4. 在畫布中單擊資料彙總節點,在右側配置面板,參照下表,配置資料彙總欄位。

    配置項

    參數

    說明

    樣本

    基礎配置

    分組欄位

    選擇用於視窗函數中資料分區的欄位列表(彙總粒度),取值不受視窗彙總邏輯影響,例如:產品金鑰(ProductKey),裝置名稱(DeviceName)等。

    以“應用情境”的樣本為例:要統計每個會議室的最高溫度,選擇對應的分組欄位為會議室ID(roomId)。

    視窗長度

    選擇視窗長度,可選:10s15s30s1min5min15min30min

    • 如果超過1小時視窗,請使用SQL工作台小時調度。具體內容,請參見SQL分析中的設定任務調度策略

    • 如果您有自訂需求,可以聯絡技術支援人員提需求。

    以“應用情境”的樣本為例:1min。

    被彙總欄位列表

    設定如下資訊:

    • 被彙總欄位:選擇數值型欄位,使用對應值進行彙總操作。

    • 彙總結果欄位名:僅支援數字、字母和底線,不能以數字開頭,不能和已有欄位重合,長度不超過30個字元。

    • 彙總操作SUMCOUNTMINMAXAVG

    以“應用情境”的樣本為例:

    • 被彙總欄位:選擇空調溫度temperature

    • 彙總結果欄位名:分鐘級最高溫度max_temperature

    • 彙總操作:選擇MAX

    進階配置

    延遲容忍

    單位為秒。

    如果訊息亂序造成資料比實際的視窗延遲上報,設定該欄位可使延遲達到的資料能在正確的視窗上進行計算。使用邏輯類比Flink SQL的Watermark,請參見Flink SQL的時間屬性

    使用預設值。

    下面為以“應用情境”為例的一個具體配置:

    image

  5. 單擊資料解析工作台右上方的儲存,完成資料彙總節點的配置。

    重要

    該節點的輸出欄位為分組欄位和彙總結果欄位列表,上一節點的其他欄位不會作為該節點的輸出欄位。

後續操作

配置完相鄰訊息計算節點後,您可以繼續配置其他處理節點,也可以配置目標節點完成整個解析任務配置。