DataWorks：AnalyticDB for MySQL 3.0資料來源

使用限制

• ADB湖倉版資料來源不支援在公用資源群組配置以及運行同步任務。

• 如果ADB資料來源配置的執行個體從數倉版切換到了湖倉版，使用該資料來源運行在公用資源群組上的同步任務將會失敗，建議切換前，確認是否有運行在公用資源群組上的同步任務，並且將其切換到獨享資源群組運行。

• 離線同步支援閱讀檢視（VIEW）表。

支援的欄位類型

離線讀

AnalyticDB for MySQL 3.0 Reader針對AnalyticDB for MySQL 3.0類型的轉換列表，如下表所示。

離線寫

AnalyticDB for MySQL 3.0 Writer針對AnalyticDB for MySQL 3.0類型的轉換列表，如下所示。

資料同步任務開發

MaxCompute資料同步任務的配置入口和通用配置流程指導可參見下文的配置指導，詳細的配置參數解釋可在配置介面查看對應參數的文案提示。

建立資料來源

在進行資料同步任務開發時，您需要在DataWorks上建立一個對應的資料來源，操作流程請參見建立並管理資料來源。

單表離線同步任務配置指導

• 操作流程請參見通過嚮導模式配置離線同步任務、通過指令碼模式配置離線同步任務。

• 指令碼模式配置的全量參數和指令碼Demo請參見下文的附錄：指令碼Demo與參數說明。

單表及整庫即時同步任務配置指導

操作流程請參見DataStudio側即時同步任務配置。

整庫離線讀、單表或整庫全增量即時寫等整庫層級同步配置指導

操作流程請參見Data Integration側同步任務配置。

附錄：指令碼Demo與參數說明

附錄：離線任務指令碼配置方式

如果您配置離線任務時使用指令碼模式的方式進行配置，您需要在任務指令碼中按照指令碼的統一格式要求編寫指令碼中的reader參數和writer參數，指令碼模式的統一要求請參見通過指令碼模式配置離線同步任務，以下為您介紹指令碼模式下的資料來源的Reader參數和Writer參數的指導詳情。

Reader指令碼Demo

{
"type": "job",
"steps": [
{ 
"stepType": "analyticdb_for_mysql", //外掛程式名。
"parameter": {
"column": [ //列名。
"id",
"value",
"table"
],
"connection": [
{
"datasource": "xxx", //資料來源。
"table": [ //表名。
"xxx"
]
}
],
"where": "", //過濾條件。
"splitPk": "", //切分鍵。
"encoding": "UTF-8" //編碼格式。
},
"name": "Reader",
"category": "reader"
},
{ 
"stepType": "stream",
"parameter": {},
"name": "Writer",
"category": "writer"
}
],
"version": "2.0",
"order": {
"hops": [
{
"from": "Reader",
"to": "Writer"
}
]
},
"setting": {
"errorLimit": {
"record": "0" //同步過程中的錯誤記錄限制數。
},
"speed": {
"throttle":true,//當throttle值為false時，mbps參數不生效，表示不限流；當throttle值為true時,表示限流。
                        "concurrent":1 //作業並發數。
                      "mbps":"12"//限流，此處1mbps = 1MB/s。
}
}
}

Reader指令碼參數

Writer指令碼Demo

{
"type": "job",
"steps": [
{
"stepType": "stream",
"parameter": {},
"name": "Reader",
"category": "reader"
},
{
"stepType": "analyticdb_for_mysql", //外掛程式名。
"parameter": {
"postSql": [], //匯入後的準備語句。
"tableType": null, //保留欄位，預設空。
"datasource": "hangzhou_ads", //資料來源名稱。
"column": [ //同步欄位。
"id",
"value"
],
"guid": null,
"writeMode": "insert", //寫入模式，請參見writeMode參數說明。
"batchSize": 2048, //批量寫入的大小，請參見batchSize參數說明。
"encoding": "UTF-8", //編碼格式。
"table": "t5", //寫入的表名。
"preSql": [] //匯入前的準備語句。
},
"name": "Writer",
"category": "writer"
}
],
"version": "2.0", //設定檔格式的版本號碼。
"order": {
"hops": [
{
"from": "Reader",
"to": "Writer"
}
]
},
"setting": {
"errorLimit": {
"record": "0" //錯誤記錄數。
},
"speed": {
"throttle":true,//當throttle值為false時，mbps參數不生效，表示不限流；當throttle值為true時,表示限流。
                        "concurrent":2, //作業並發數。
                        "mbps":"12"//限流，此處1mbps = 1MB/s。
}
}
}

Writer指令碼參數