全部產品
Search

搜尋本產品

    DataWorks：配置LogHub（SLS）輸入

    文件中心

    DataWorks：配置LogHub（SLS）輸入

    更新時間：Nov 19, 2024

    LogHubStream Reader外掛程式基於LogHub（SLS） SDK即時抽取您配置的LogHub（SLS） topic資料，並支援合并和分裂Shard。合并或分裂Shard後，資料可能會增加，但保證不會遺失資料。

    背景資訊

    LogHub（SLS）即時同步讀取外掛程式，會內建以下中繼資料欄位：

    LogHub（SLS）即時同步欄位

    資料類型

    說明

    __time__

    STRING

    SLS保留欄位：__time__寫入日誌資料時指定的日誌時間，unix時間戳記，單位為秒。

    __source__

    STRING

    SLS保留欄位：__source__日誌來源裝置。

    __topic__

    STRING

    SLS保留欄位：__topic__topic名稱。

    __tag__:__receive_time__

    STRING

    日誌到達服務端的時間。開啟記錄外網IP功能後，服務端接收日誌時為原始日誌追加該欄位。unix時間戳記，單位為秒。

    __tag__:__client_ip__

    STRING

    日誌來源裝置的公網IP。開啟記錄外網IP功能後，服務端接收日誌時為原始日誌追加該欄位。

    __tag__:__path__

    STRING

    Logtail採集的記錄檔路徑，Logtail為日誌自動追加該欄位。

    __tag__:__hostname__

    STRING

    Logtail採集資料的來源機器主機名稱，Logtail為日誌自動追加該欄位。

    操作步驟

    1. 進入資料開發頁面。

      登入DataWorks控制台，切換至目標地區後，單擊左側導覽列的資料開發與治理 > 資料開發，在下拉框中選擇對應工作空間後單擊進入資料開發。

    2. 滑鼠移至上方至建立表徵圖，單擊建立節點 > Data Integration > 即時同步。

      您也可以展開商務程序，按右鍵目標商務程序，選擇建立節點 > Data Integration > 即時同步。

    3. 在建立節點對話方塊中，選擇同步方式為單表（Topic）到單表（Topic）ETL，輸入名稱，並選擇路徑。

      重要

      節點名稱必須是大小寫字母、中文、數字、底線（_）以及英文句號（.），且不能超過128個字元。

    4. 單擊確認。

    5. 在即時同步節點的編輯頁面，按一下滑鼠輸入 > LogHub並拖拽至編輯面板。

    6. 單擊LogHub節點，在節點配置對話方塊中，配置各項參數。

      image

      參數

      描述

      資料來源

      選擇已經配置好的LogHub（SLS）資料來源，此處僅支援LogHub（SLS）資料來源。

      如果未配置資料來源，請單擊右側的建立資料來源，跳轉至工作空間管理 > 資料來源管理頁面進行建立。詳情請參見配置LogHub（SLS）資料來源。

      Logstore

      選擇當前資料來源下需要同步的Logstore。您可以單擊右側的資料預覽進行確認。

      進階配置

      您可以在此設定是否拆分Logstore中的資料。如果選擇拆分，則需要設定拆分規則。

      拆分規則：shardId % X = Y，表示shardId對X取餘，其中shardId為分區任務ID，X表示分區總數，Y表示shardId任務執行的分區編號，值為[0, X-1]。例如shardId % 5 = 3，表示將源端待同步資料切分為5個任務，shardId任務被分配到分區編號為3的任務上。

      輸出欄位

      選擇需要同步的欄位，欄位含義請參見背景資訊。

    7. 單擊工具列中的儲存表徵圖。