建立資料解析任務後,您可在資料解析工作台,配置資料解析任務的源節點,以作為後續資料解析的資料來源。本文介紹配置源節點的操作步驟。
前提條件
已建立資料解析任務,具體操作,請參見建立資料解析任務。
背景資訊
操作步驟
在資料解析工作台,單擊畫布中預設存在的源節點。
在右側配置面板,根據要處理資料的資料來源類型,配置基本資料。
IoT執行個體Topic:選擇該類型後,配置以下參數,以處理裝置通過自訂或物模型通訊Topic上報的資料。
參數名稱
描述
相關文檔
所屬執行個體
下拉式清單展示該阿里雲帳號下所有執行個體。
所屬產品
下拉式清單展示所選執行個體下所有產品名稱。
所屬裝置
所選產品下裝置,僅支援選擇全部裝置。
Topic類型
可選:系統Topic、自訂Topic、物模型通訊Topic。
詳細說明,請參見下文“Topic類型說明表”。
Topic名稱
該Topic的通訊資料是解析任務的資料來源。
雲網關產品的自訂Topic:在Topic名稱列表中,手動輸入Topic名稱。例如
/${productKey}/${deviceName}/user/update
。其他情況:從Topic名稱列表選擇待分析的Topic。
Topic類型說明表:
裝置
系統Topic
自訂Topic
物模型Topic
雲網關裝置:MQTT
不支援。
支援。
具體說明,請參見添加自訂Topic類。
支援屬性和事件類型。
具體說明,請參見裝置上報屬性和裝置上報事件。
雲網關裝置:NB-IoT
雲網關裝置:JT/T 808
支援裝置上報資料Topic:
$JT808/${manufacturer}/${deviceModel}/${deviceId}/up
。具體說明,請參見裝置上報資料。
不支援。
雲網關裝置:GB/T 32960
支援裝置上報資料Topic:
$GB23960/${VIN}/up
。具體說明,請參見裝置上報資料。
非雲網關裝置
支援裝置影子發布Topic:
/shadow/update/${YourProductKey}/${YourDeviceName}
。具體說明,請參見裝置影子。
支援。
具體說明,請參見添加自訂Topic類。
API資料來源:選擇該類型後,您需選擇具體的API資料來源,以處理通過API資料來源匯入的外部資料。
更多資訊,請參見配置API資料來源。
單擊下一步,選擇Topic格式,配置格式解析。
JSON、ProtoBuf、Base64(to_JSON)
根據選擇的Topic格式,配置範例資料。
說明如果Topic在7天內上報過資料,單擊拉取線上資料,會自動設定範例資料。
Topic格式
配置範例
JSON
在範例資料框中,直接配置範例資料。範例資料的內容大小不能超過16 KB。
ProtoBuf
單擊上傳.desc檔案,上傳
.desc
檔案,用於解析ProtoBuf格式資料。產生.desc檔案方法,請參見附錄:產生.desc檔案。
選擇訊息類型後,單擊上傳位元據檔案,配置範例資料。
Base64(to_JSON)
單擊上傳Base64資料檔案,配置範例資料。
配置範例資料後,單擊校正解析:
若解析成功,可在解析預覽中查看資料。
若解析失敗,則根據提示,修正範例資料後,重新校正。
選擇是否透傳。
否(預設)。
是:選中後,只支援將解析後的資料通過Topic流轉,不再支援自訂資料存放區和SQL離線分析。
單擊儲存。
您可在畫布下方資料結構中查看解析欄位的結構列表,包括欄位名稱和資料類型。
說明如果是否透傳為是,在畫布中源節點後會自動刪除已添加的其他節點,自動添加並串連目標節點。此時,源節點與目標節點之間不可再添加其他節點。
未經處理資料
選擇是否透傳。
否(預設)。
是:選中後,只支援將解析後的資料通過Topic流轉,不再支援自訂資料存放區和SQL離線分析。
單擊儲存。
在畫布中的源節點後會自動添加並串連自訂節點。
源節點與自訂節點之間不可再添加其他節點。源節點後已添加並串連的其他節點,會自動連接到自訂節點後。
說明如果是否透傳為是,在畫布中源節點後會自動刪除已添加的其他節點,自訂節點後會自動添加並串連目標節點。此時,自訂節點與目標節點之間不可再添加其他節點。
配置自訂節點的指令碼,解析未經處理資料。
在畫布中單擊自訂節點。
在自訂指令碼面板,選擇指令碼語言,然後在編輯指令碼下的輸入框中輸入指令碼。
支援的指令碼語言
需定義的函數
範例程式碼
JavaScript(ECMAScript 5)
executeScript()
Python 2.7
execute_script()
PHP 7.2
executeScript()
在類比輸入頁簽,輸入類比的裝置上報資料。
單擊執行。
執行成功後,在運行結果頁簽顯示解析後的資料。您可單擊作業記錄頁簽,查看指令碼執行日誌。
單擊資料解析工作台右上方的儲存,完成配置源節點。
後續步驟
源節點配置完成後,您可以繼續配置其他處理節點解析資料,或配置目標節點完成整個解析任務配置。
附錄:產生.desc檔案
若裝置上傳ProtoBuf格式的資料,在配置該格式的範例資料前,需先上傳用於解析的
.desc
檔案。使用本功能前,您需瞭解Protocol Buffers的基礎知識。
下載並安裝Protocol Buffers。
使用以下命令,產生
.desc
檔案。protoc -I=/filepath1/ --descriptor_set_out=/filepath2/proto.desc /filepath3/proto.proto
命令中的參數說明如下:
參數
說明
-I
為
--proto_path
的縮寫形式。編譯.proto
檔案時,指定尋找定義的import
檔案依賴的路徑。您需將其值
/filepath1/
,改為該依賴所在的路徑。如果無需依賴,則更改為本地任意路徑。--descriptor_set_out
指定要產生的
.desc
檔案的輸出路徑。您需將其值
/filepath2/proto.desc
,改為含檔案名稱的輸出路徑。/filepath3/proto.proto
指定源
.proto
檔案的名稱和路徑。如需將多個檔案產生.desc
檔案,可輸入多個含源檔案名稱的路徑,以半形逗號(,)隔開。您需將該值改為含該源
proto
檔案名稱的路徑。