LogHubStream Reader外掛程式基於LogHub(SLS) SDK即時抽取您配置的LogHub(SLS) topic資料,並支援合并和分裂Shard。合并或分裂Shard後,資料可能會增加,但保證不會遺失資料。
背景資訊
LogHub(SLS)即時同步讀取外掛程式,會內建以下中繼資料欄位:
LogHub(SLS)即時同步欄位 | 資料類型 | 說明 |
__time__ | STRING | SLS保留欄位:__time__寫入日誌資料時指定的日誌時間,unix時間戳記,單位為秒。 |
__source__ | STRING | SLS保留欄位:__source__日誌來源裝置。 |
__topic__ | STRING | SLS保留欄位:__topic__topic名稱。 |
__tag__:__receive_time__ | STRING | 日誌到達服務端的時間。開啟記錄外網IP功能後,服務端接收日誌時為原始日誌追加該欄位。unix時間戳記,單位為秒。 |
__tag__:__client_ip__ | STRING | 日誌來源裝置的公網IP。開啟記錄外網IP功能後,服務端接收日誌時為原始日誌追加該欄位。 |
__tag__:__path__ | STRING | Logtail採集的記錄檔路徑,Logtail為日誌自動追加該欄位。 |
__tag__:__hostname__ | STRING | Logtail採集資料的來源機器主機名稱,Logtail為日誌自動追加該欄位。 |
操作步驟
進入資料開發頁面。
登入DataWorks控制台。
在左側導覽列,單擊工作空間列表。
選擇工作空間所在地區後,單擊相應工作空間後的 。
滑鼠移至上方至表徵圖,單擊 。
您也可以展開商務程序,按右鍵目標商務程序,選擇
。在建立節點對話方塊中,選擇同步方式為單表(Topic)到單表(Topic)ETL,輸入名稱,並選擇路徑。
重要節點名稱必須是大小寫字母、中文、數字、底線(_)以及英文句號(.),且不能超過128個字元。
單擊確認。
在即時同步節點的編輯頁面,按一下滑鼠 並拖拽至編輯面板。
單擊LogHub節點,在節點配置對話方塊中,配置各項參數。
參數
描述
資料來源
選擇已經配置好的LogHub(SLS)資料來源,此處僅支援LogHub(SLS)資料來源。
如果未配置資料來源,請單擊右側的建立資料來源,跳轉至配置LogHub(SLS)資料來源。
頁面進行建立。詳情請參見Logstore
選擇當前資料來源下需要同步的Logstore。您可以單擊右側的資料預覽進行確認。
進階配置
您可以在此設定是否拆分Logstore中的資料。如果選擇拆分,則需要設定拆分規則。
拆分規則:shardId % X = Y,表示shardId對X取餘,其中shardId為分區任務ID,X表示分區總數,Y表示shardId任務執行的分區編號,值為[0, X-1]。例如shardId % 5 = 3,表示將源端待同步資料切分為5個任務,shardId任務被分配到分區編號為3的任務上。
輸出欄位
選擇需要同步的欄位,欄位含義請參見背景資訊。
單擊工具列中的表徵圖。