物聯網平台提供雲產品資料來源配置功能,匯入其他阿里雲產品資料到物聯網平台,稱為雲產品資料。您可將其他阿里雲平台的資料同步至物聯網平台的資料服務中,用於資料的加工處理和分析。本文介紹如何添加、刪除雲產品資料來源,及開啟資料來源同步。
前提條件
已購買物聯網平台的企業版執行個體,具體操作,請參見購買企業版執行個體。
計費說明
從雲產品資料來源同步資料到物聯網平台,會消耗資料處理單元(CU)。具體內容,請參見資料服務計費說明。
使用限制
目前僅支援將OSS Bucket中檔案同步到物聯網平台的資料服務中。
OSS Bucket下單個檔案不超過1 GB,且每天的檔案需儲存在以日期命名的檔案夾下。
日期格式分為:
天:
YYYYMMDD
,例如:20230302
。小時:
YYYYMMDDHH
,例如2023030213
。
建立雲產品資料來源
在物聯網平台控制台的執行個體概覽頁面,單擊目標企業版執行個體ID或備忘名稱。
在左側導覽列,選擇資料服務 > 資料接入,單擊雲產品頁簽。
在雲產品頁簽,單擊建立雲產品資料來源。
在右側面板,按照以下步驟,完成雲產品資料來源配置。
基本資料
在基本資料嚮導頁面,配置以下參數。
參數
描述
名稱
輸入雲產品資料來源名稱。支援中文、英文字母、數字、英文句號(.)、底線(_)、英文括弧(()),長度不能超過32個字元。
描述
輸入雲產品資料來源說明。
雲產品類型
僅支援選擇OSS。
Bucket
選擇OSS儲存空間(Bucket)。
在OSS中建立儲存空間(Bucket)的具體操作,請參見建立儲存空間。
重要配置Bucket列表前,需單擊角色未建立右側的建立,先在您的阿里雲帳號中建立一個服務關聯角色,用於授權物聯網平台的資料服務訪問並同步您OSS儲存空間的資料。
服務關聯角色說明,請參見雲產品資料接入服務關聯角色。
父目錄
輸入Bucket下檔案所屬父目錄名稱。
檔案目錄管理,請參見管理目錄。
單擊下一步。
欄位對應
在欄位對應嚮導頁面,配置資料來源的資料格式。
參數
描述
資料格式
可選:
JSON:使用JSON格式。
ProtoBuf:使用ProtoBuf格式。
CSV:使用CSV檔案格式。
自訂:使用自訂指令碼解析資料格式。
行分隔字元
可選:系統預設分隔符號、逗號、豎線、空格、定位字元、自訂。
選擇系統預設分隔符號時,會自動匹配使用當前系統的分隔字元。
選擇自訂時,需輸入一個可見字元。
說明資料格式為JSON時,行分隔字元不支援設定為逗號。
資料格式為ProtoBuf時,使用協議特殊的資料換行方式,在寫出資料到檔案時需要使用
writeDelimitedTo
(java)或delimited_message_util.h
(C++)的方式,不支援自訂的行分隔字元。資料格式為CSV時,行分隔字元預設為系統預設分隔符號,且不可修改。
資料行分隔符號
僅資料格式為CSV時,需要配置資料行分隔符號。
可選:逗號、豎線、空格、定位字元、自訂。
單擊點擊配置,在欄位對應對話方塊,完成資料來源中欄位對應配置。
根據資料格式,配置格式解析的範例資料。
資料格式
操作
JSON
在範例資料框中,直接配置JSON格式的範例資料。僅支援輸入單行資料。
重要不支援輸入數組格式的資料。
ProtoBuf
單擊上傳.desc檔案,上傳.desc檔案,用於解析ProtoBuf格式資料。
產生.desc檔案方法,請參見附錄:產生.desc檔案。
選擇訊息類型後,單擊上傳位元據檔案,配置範例資料。
重要不支援輸入數組格式的資料。
CSV
在範例資料框中,直接配置範例資料。
範例資料需要輸入列名稱,且僅可輸入一行資料。例如資料行分隔符號為逗號的範例資料:
productKey,deviceName,time,temperature,humidity g9rp0*****,device1,20230102,23,30
自訂
選擇指令碼語言,然後在編輯指令碼下的輸入框中輸入指令碼。
支援選擇的指令碼語言:JavaScript(ECMAScript 5),定義函數名為
parse_line
。指令碼模板和樣本,請參見編寫自訂指令碼。
在類比輸入頁簽,根據行分隔字元,輸入類比的裝置上報資料。
執行以下步驟,完成資料解析校正。
如果資料格式為JSON、ProtoBuf或CSV,單擊校正解析:
若解析成功,可在資料存放區類型下方中查看解析的欄位資訊。
若解析失敗,則根據提示,修正範例資料後,重新校正。
如果資料格式為自訂:單擊執行:
若執行成功,在運行結果頁簽顯示解析後的資料。
若執行失敗,根據提示,修改指令碼後。重新執行進行校正。
在解析的欄位列表,設定欄位顯示名稱和主鍵。
欄位顯示名稱支援中文、英文、數字、底線(_)、短劃線(-)、英文括弧(()),長度不超過30個字元。
單擊確認。
單擊下一步。
同步周期
選擇同步周期的單位:小時、天。
選擇最早同步時間。
單擊完成。
建立雲產品資料來源成功後:
在資料接入>雲產品頁簽下,對應添加雲產品資料來源同步任務,同步狀態預設為已停止。您需手動開啟雲產品資料來源同步,具體操作,請參見開啟雲產品資料來源同步。
在資料存放區>冷資料存放區>自訂儲存表頁簽下,以雲產品資料來源名稱為表名稱,建立對應儲存表。
開啟雲產品資料來源同步
執行以下步驟,開啟資料同步,雲產品資料即可接入資料服務。
在雲產品頁簽,找到已添加的雲產品資料來源同步任務。
單擊對應同步狀態列的已停止開關。
開啟成功後,雲產品資料來源同步任務的同步狀態為同步中。後續系統會按照同步周期運行同步任務,將雲產品資料同步到物聯網平台資料服務的自訂儲存表。
可選操作
編輯雲產品資料來源配置
在雲產品頁簽,找到已添加的雲產品資料來源。
單擊對應操作列的編輯。
在編輯雲產品資料來源面板,參考上文修改相關配置。
基本資料的雲產品類型和欄位對應的已建立的自訂儲存表,不可編輯,其他參數都可修改。
刪除雲產品資料來源
雲產品資料來源的同步狀態為已停止時,可刪除該雲產品資料來源。
刪除後,不再繼續同步資料。請謹慎操作。
在雲產品頁簽,找到已添加的雲產品資料來源。
單擊對應操作列的刪除。
單擊確認。