DataWorks：AnalyticDB for MySQL 2.0資料來源

使用限制

• 離線同步支援閱讀檢視（VIEW）表。

• AnalyticDB for MySQL 2.0 Reader不支援multivalue，否則同步任務會直接異常退出。

支援的欄位類型

離線讀

AnalyticDB for MySQL 2.0 Reader針對AnalyticDB for MySQL 2.0類型的轉換列表，如下所示。

離線寫

AnalyticDB for MySQL 2.0 Writer針對AnalyticDB for MySQL 2.0類型的轉換列表，如下所示。

資料同步任務開發

AnalyticDB for MySQL 2.0資料同步任務的配置入口和通用配置流程指導可參見下文的配置指導，詳細的配置參數解釋可在配置介面查看對應參數的文案提示。

建立資料來源

在進行資料同步任務開發時，您需要在DataWorks上建立一個對應的資料來源，操作流程請參見建立並管理資料來源。

單表離線同步任務配置指導

• 操作流程請參見通過嚮導模式配置離線同步任務、通過指令碼模式配置離線同步任務。

• 指令碼模式配置的全量參數和指令碼Demo請參見下文的附錄：指令碼Demo與參數說明。

整庫離線讀同步配置指導

操作流程請參見Data Integration側同步任務配置。

附錄：指令碼Demo與參數說明

附錄：離線任務指令碼配置方式

如果您配置離線任務時使用指令碼模式的方式進行配置，您需要在任務指令碼中按照指令碼的統一格式要求編寫指令碼中的reader參數和writer參數，指令碼模式的統一要求請參見通過指令碼模式配置離線同步任務，以下為您介紹指令碼模式下的資料來源的Reader參數和Writer參數的指導詳情。

Reader指令碼Demo

{
    "type": "job",
  "steps": [
    {
            "stepType": "ads",
      "parameter": {
        "datasource": "ads_demo",
        "table": "th_test",
        "column": [
          "id",
          "testtinyint",
          "testbigint",
          "testdate",
          "testtime",
          "testtimestamp",
          "testvarchar",
          "testdouble",
          "testfloat"
        ],
        "odps": {
          "accessId": "<yourAccessKeyId>",
          "accessKey": "<yourAccessKeySecret>",
          "account": "*********@aliyun.com",
          "odpsServer": " http://service.cn-shanghai-vpc.maxcompute.aliyun-inc.com/api",
          "tunnelServer": "http://dt.cn-shanghai-vpc.maxcompute.aliyun-inc.com",
          "accountType": "aliyun",
          "project": "odps_test"
        },
        "mode": "ODPS"
      },
      "name": "Reader",
      "category": "reader"
    },
    {
      "stepType": "stream",
      "parameter": {},
      "name": "Writer",
      "category": "writer"
    }
  ],
  "version": "2.0",
  "order": {
    "hops": [
      {
        "from": "Reader",
        "to": "Writer"
      }
    ]
  },
  "setting": {
    "errorLimit": {
      "record": ""
    },
    "speed": {
      "concurrent": 2,
      "throttle": true,//當throttle值為false時，mbps參數不生效，表示不限流；當throttle值為true時,表示限流。
                  "mbps":"12"//限流，此處1mbps = 1MB/s。
    }
  }
}

Reader指令碼參數

Writer指令碼Demo

{
    "type":"job",
    "version":"2.0",
    "steps":[ 
        {
            "stepType":"stream",
            "parameter":{
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"ads",//外掛程式名。
            "parameter":{
                "partition":"",//目標表的分區名稱。
                "datasource":"",//資料來源。
                "column":[//欄位。
                     "id"
                ],
                "writeMode":"insert",//寫入模式。
                "batchSize":"256",//一次性批量提交的記錄數大小。
                "table":"",//表名。
                "overWrite":"true"//AnalyticDB for MySQL 2.0寫入是否覆蓋當前寫入的表，true為覆蓋寫入，false為不覆蓋。（追加）寫入。當 writeMode 為 Load 時，該值才會生效。
                "options.ignoreEmptySource":true//忽略源頭資料空檔案報錯資訊，任務不報錯，預設true,不配置預設是true，設定為false讀不到源頭資料任務會報錯
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"//錯誤記錄數。
        },
        "speed":{
            "throttle":true,//當throttle值為false時，mbps參數不生效，表示不限流；當throttle值為true時,表示限流。
            "concurrent":1, //作業並發數。
            "mbps":"12"//限流，此處1mbps = 1MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Writer指令碼參數