全部產品
Search
文件中心

:添加雲產品資料來源

更新時間:Jun 30, 2024

物聯網平台提供雲產品資料來源配置功能,匯入其他阿里雲產品資料到物聯網平台,稱為雲產品資料。您可將其他阿里雲平台的資料同步至物聯網平台的資料服務中,用於資料的加工處理和分析。本文介紹如何添加、刪除雲產品資料來源,及開啟資料來源同步。

前提條件

已購買物聯網平台的企業版執行個體,具體操作,請參見購買企業版執行個體

計費說明

從雲產品資料來源同步資料到物聯網平台,會消耗資料處理單元(CU)。具體內容,請參見資料服務計費說明

使用限制

  • 目前僅支援將OSS Bucket中檔案同步到物聯網平台的資料服務中。

  • OSS Bucket下單個檔案不超過1 GB,且每天的檔案需儲存在以日期命名的檔案夾下。

    日期格式分為:

    • 天:YYYYMMDD,例如:20230302

    • 小時:YYYYMMDDHH,例如2023030213

建立雲產品資料來源

  1. 物聯網平台控制台執行個體概覽頁面,單擊目標企業版執行個體ID或備忘名稱。

  2. 在左側導覽列,選擇資料服務 > 資料接入,單擊雲產品頁簽。

  3. 雲產品頁簽,單擊建立雲產品資料來源

  4. 在右側面板,按照以下步驟,完成雲產品資料來源配置。

基本資料

  1. 基本資料嚮導頁面,配置以下參數。

    參數

    描述

    名稱

    輸入雲產品資料來源名稱。支援中文、英文字母、數字、英文句號(.)、底線(_)、英文括弧(()),長度不能超過32個字元。

    描述

    輸入雲產品資料來源說明。

    雲產品類型

    僅支援選擇OSS

    Bucket

    選擇OSS儲存空間(Bucket)。

    在OSS中建立儲存空間(Bucket)的具體操作,請參見建立儲存空間

    重要

    配置Bucket列表前,需單擊角色未建立右側的建立,先在您的阿里雲帳號中建立一個服務關聯角色,用於授權物聯網平台的資料服務訪問並同步您OSS儲存空間的資料。

    服務關聯角色說明,請參見雲產品資料接入服務關聯角色

    父目錄

    輸入Bucket下檔案所屬父目錄名稱。

    檔案目錄管理,請參見管理目錄

  2. 單擊下一步

欄位對應

  1. 欄位對應嚮導頁面,配置資料來源的資料格式。

    參數

    描述

    資料格式

    可選:

    JSON:使用JSON格式。

    ProtoBuf:使用ProtoBuf格式。

    CSV:使用CSV檔案格式。

    自訂:使用自訂指令碼解析資料格式。

    行分隔字元

    可選:系統預設分隔符號逗號豎線空格定位字元自訂

    • 選擇系統預設分隔符號時,會自動匹配使用當前系統的分隔字元。

    • 選擇自訂時,需輸入一個可見字元。

    說明
    • 資料格式JSON時,行分隔字元不支援設定為逗號

    • 資料格式ProtoBuf時,使用協議特殊的資料換行方式,在寫出資料到檔案時需要使用writeDelimitedTo(java)或delimited_message_util.h(C++)的方式,不支援自訂的行分隔字元。

    • 資料格式CSV時,行分隔字元預設為系統預設分隔符號,且不可修改。

    資料行分隔符號

    資料格式CSV時,需要配置資料行分隔符號。

    可選:逗號豎線空格定位字元自訂

  2. 單擊點擊配置,在欄位對應對話方塊,完成資料來源中欄位對應配置。

    1. 根據資料格式,配置格式解析的範例資料。

      資料格式

      操作

      JSON

      範例資料框中,直接配置JSON格式的範例資料。僅支援輸入單行資料。

      重要

      不支援輸入數組格式的資料。

      ProtoBuf

      1. 單擊上傳.desc檔案,上傳.desc檔案,用於解析ProtoBuf格式資料。

        產生.desc檔案方法,請參見附錄:產生.desc檔案

      2. 選擇訊息類型後,單擊上傳位元據檔案,配置範例資料。

      重要

      不支援輸入數組格式的資料。

      CSV

      範例資料框中,直接配置範例資料。

      範例資料需要輸入列名稱,且僅可輸入一行資料。例如資料行分隔符號逗號的範例資料:

      productKey,deviceName,time,temperature,humidity
      g9rp0*****,device1,20230102,23,30

      自訂

      1. 選擇指令碼語言,然後在編輯指令碼下的輸入框中輸入指令碼。

        支援選擇的指令碼語言:JavaScript(ECMAScript 5),定義函數名為parse_line

        指令碼模板和樣本,請參見編寫自訂指令碼

      2. 類比輸入頁簽,根據行分隔字元,輸入類比的裝置上報資料。

    2. 執行以下步驟,完成資料解析校正。

      • 如果資料格式JSONProtoBufCSV,單擊校正解析

        • 若解析成功,可在資料存放區類型下方中查看解析的欄位資訊。

        • 若解析失敗,則根據提示,修正範例資料後,重新校正。

      • 如果資料格式自訂:單擊執行

        • 若執行成功,在運行結果頁簽顯示解析後的資料。

        • 若執行失敗,根據提示,修改指令碼後。重新執行進行校正。

    3. 在解析的欄位列表,設定欄位顯示名稱主鍵

      欄位顯示名稱支援中文、英文、數字、底線(_)、短劃線(-)、英文括弧(()),長度不超過30個字元。

    4. 單擊確認

  3. 單擊下一步

同步周期

  1. 選擇同步周期的單位:小時

  2. 選擇最早同步時間

  3. 單擊完成

建立雲產品資料來源成功後:

  • 資料接入>雲產品頁簽下,對應添加雲產品資料來源同步任務,同步狀態預設為已停止。您需手動開啟雲產品資料來源同步,具體操作,請參見開啟雲產品資料來源同步

  • 資料存放區>冷資料存放區>自訂儲存表頁簽下,以雲產品資料來源名稱為表名稱,建立對應儲存表。

開啟雲產品資料來源同步

執行以下步驟,開啟資料同步,雲產品資料即可接入資料服務。

  1. 雲產品頁簽,找到已添加的雲產品資料來源同步任務。

  2. 單擊對應同步狀態列的已停止開關image..png

開啟成功後,雲產品資料來源同步任務的同步狀態同步中。後續系統會按照同步周期運行同步任務,將雲產品資料同步到物聯網平台資料服務的自訂儲存表。

image..png

可選操作

編輯雲產品資料來源配置

  1. 雲產品頁簽,找到已添加的雲產品資料來源。

  2. 單擊對應操作列的編輯

  3. 編輯雲產品資料來源面板,參考上文修改相關配置。

說明

基本資料雲產品類型欄位對應的已建立的自訂儲存表,不可編輯,其他參數都可修改。

刪除雲產品資料來源

雲產品資料來源的同步狀態為已停止時,可刪除該雲產品資料來源。

警告

刪除後,不再繼續同步資料。請謹慎操作。

  1. 雲產品頁簽,找到已添加的雲產品資料來源。

  2. 單擊對應操作列的刪除

  3. 單擊確認

後續操作

管理同步任務和資料存放區表