DataWorks：LogHub（SLS）資料來源

使用限制

Data Integration離線寫LogHub（SLS）時，由於LogHub（SLS）無法實現等冪，FailOver重跑任務時會引起資料重複。

支援的欄位類型

資料同步任務開發：LogHub（SLS）同步流程引導

LogHub（SLS）資料同步任務的配置入口和通用配置流程指導可參見下文的配置指導，詳細的配置參數解釋可在配置介面查看對應參數的文案提示。

建立資料來源

在進行資料同步任務開發時，您需要在DataWorks上建立一個對應的資料來源，操作流程請參見建立並管理資料來源。

單表離線同步任務配置指導

• 操作流程請參見通過嚮導模式配置離線同步任務、通過指令碼模式配置離線同步任務。

• 指令碼模式配置的全量參數和指令碼Demo請參見下文的附錄：LogHub（SLS）指令碼Demo與參數說明。

單表即時同步任務配置指導

操作流程請參見配置單表增量資料即時同步、DataStudio側即時同步任務配置。

整庫離線、整庫（即時）全增量、整庫（即時）分庫分表等整庫層級同步配置指導

操作流程請參見Data Integration側同步任務配置。

常見問題

• 讀取Loghub同步某欄位有資料但是同步過來為空白

• 讀取Loghub同步少資料

• 讀取Loghub欄位對應時讀到的欄位不符合預期

更多其他Data Integration常見問題請參見Data Integration常見問題。

附錄：LogHub（SLS）指令碼Demo與參數說明

附錄：離線任務指令碼配置方式

如果您配置離線任務時使用指令碼模式的方式進行配置，您需要在任務指令碼中按照指令碼的統一格式要求編寫指令碼中的reader參數和writer參數，指令碼模式的統一要求請參見通過指令碼模式配置離線同步任務，以下為您介紹指令碼模式下的資料來源的Reader參數和Writer參數的指導詳情。

LogHub（SLS） Reader指令碼Demo

{
 "type":"job",
 "version":"2.0",//版本號碼。
 "steps":[
     {
         "stepType":"LogHub",//外掛程式名。
         "parameter":{
             "datasource":"",//資料來源。
             "column":[//欄位。
                 "col0",
                 "col1",
                 "col2",
                 "col3",
                 "col4",
                 "C_Category",
                 "C_Source",
                 "C_Topic",
                 "C_MachineUUID", //日誌主題。
                 "C_HostName", //主機名稱。
                 "C_Path", //路徑。
                 "C_LogTime" //事件時間。
             ],
             "beginDateTime":"",//資料消費的開始時間位點。
             "batchSize":"",//一次從Log Service查詢的資料條數。
             "endDateTime":"",//資料消費的結束時間位點。
             "fieldDelimiter":",",//資料行分隔符號。
             "logstore":""//：目標日誌庫的名字。
         },
         "name":"Reader",
         "category":"reader"
     },
     { 
         "stepType":"stream",
         "parameter":{},
         "name":"Writer",
         "category":"writer"
     }
 ],
 "setting":{
     "errorLimit":{
         "record":"0"//錯誤記錄數。
     },
     "speed":{
         "throttle":true,//當throttle值為false時，mbps參數不生效，表示不限流；當throttle值為true時,表示限流。
            "concurrent":1 //作業並發數。
            "mbps":"12",//限流，此處1mbps = 1MB/s。
     }
 },
 "order":{
     "hops":[
         {
             "from":"Reader",
             "to":"Writer"
         }
     ]
 }
}

LogHub（SLS） Reader指令碼參數

LogHub（SLS） writer指令碼Demo

{
    "type": "job",
    "version": "2.0",//版本號碼。
    "steps": [
        { 
            "stepType": "stream",
            "parameter": {},
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "LogHub",//外掛程式名。
            "parameter": {
                "datasource": "",//資料來源。
                "column": [//欄位。
                    "col0",
                    "col1",
                    "col2",
                    "col3",
                    "col4",
                    "col5"
                ],
                "topic": "",//選取topic。
                "batchSize": "1024",//一次性批量提交的記錄數大小。
                "logstore": ""//目標LogService LogStore的名稱。
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": ""//錯誤記錄數。
        },
        "speed": {
            "throttle":true,//當throttle值為false時，mbps參數不生效，表示不限流；當throttle值為true時,表示限流。
            "concurrent":3, //作業並發數。
            "mbps":"12"//限流，此處1mbps = 1MB/s。
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

LogHub（SLS） Writer指令碼參數