DataWorks：MySQL資料來源

本文為您提供單庫單表和分庫分表的配置樣本：

• 配置單庫單表

  {
    "type": "job",
    "version": "2.0",//版本號碼。
    "steps": [
      {
        "stepType": "mysql",//外掛程式名。
        "parameter": {
          "column": [//列名。
            "id"
          ],
          "connection": [
            {
              "querySql": [
                "select a,b from join1 c join join2 d on c.id = d.id;"
              ],
              "datasource": ""//資料來源名稱。
            }
          ],
          "where": "",//過濾條件。
          "splitPk": "",//切分鍵。
          "encoding": "UTF-8"//編碼格式。
        },
        "name": "Reader",
        "category": "reader"
      },
      {
        "stepType": "stream",
        "parameter": {},
        "name": "Writer",
        "category": "writer"
      }
    ],
    "setting": {
      "errorLimit": {
        "record": "0"//錯誤記錄數。
      },
      "speed": {
        "throttle": true,//當throttle值為false時，mbps參數不生效，表示不限流；當throttle值為true時,表示限流。
        "concurrent": 1,//作業並發數。
        "mbps": "12"//限流，此處1mbps = 1MB/s。
      }
    },
    "order": {
      "hops": [
        {
          "from": "Reader",
          "to": "Writer"
        }
      ]
    }
  }

• 配置分庫分表

  說明

  分庫分表是指在MySQL Reader端可以選擇多個MySQL資料表，且表結構保持一致。此處的‘分庫分表’是指多個MySQL寫入同一個目標表，如想要支援整庫層級配置分庫分表，還請在Data Integration網站建立任務並選擇整庫分庫分表能力

  {
    "type": "job",
    "version": "2.0",
    "steps": [
      {
        "stepType": "mysql",
        "parameter": {
          "indexes": [
            {
              "type": "unique",
              "column": [
                "id"
              ]
            }
          ],
          "envType": 0,
          "useSpecialSecret": false,
          "column": [
            "id",
            "buyer_name",
            "seller_name",
            "item_id",
            "city",
            "zone"
          ],
          "tableComment": "測試訂單表",
          "connection": [
            {
              "datasource": "rds_dataservice",
              "table": [
                "rds_table"
              ]
            },
            {
              "datasource": "rds_workshop_log",
              "table": [
                "rds_table"
              ]
            }
          ],
          "where": "",
          "splitPk": "id",
          "encoding": "UTF-8"
        },
        "name": "Reader",
        "category": "reader"
      },
      {
        "stepType": "odps",
        "parameter": {},
        "name": "Writer",
        "category": "writer"
      },
      {
        "name": "Processor",
        "stepType": null,
        "category": "processor",
        "copies": 1,
        "parameter": {
          "nodes": [],
          "edges": [],
          "groups": [],
          "version": "2.0"
        }
      }
    ],
    "setting": {
      "executeMode": null,
      "errorLimit": {
        "record": ""
      },
      "speed": {
        "concurrent": 2,
        "throttle": false
      }
    },
    "order": {
      "hops": [
        {
          "from": "Reader",
          "to": "Writer"
        }
      ]
    }
  }

{
  "type": "job",
  "version": "2.0",//版本號碼。
  "steps": [
    {
      "stepType": "stream",
      "parameter": {},
      "name": "Reader",
      "category": "reader"
    },
    {
      "stepType": "mysql",//外掛程式名。
      "parameter": {
        "postSql": [],//匯入後的準備語句。
        "datasource": "",//資料來源。
        "column": [//列名。
          "id",
          "value"
        ],
        "writeMode": "insert",//寫入模式，您可以設定為insert、replace或update。
        "batchSize": 1024,//一次性批量提交的記錄數大小。
        "table": "",//表名。
        "nullMode": "skipNull",//NULL值處理策略。
        "skipNullColumn": [//需要跳過NULL值的列。
          "id",
          "value"
        ],
        "preSql": [
          "delete from XXX;"//匯入前的準備語句。
        ]
      },
      "name": "Writer",
      "category": "writer"
    }
  ],
  "setting": {
    "errorLimit": {//錯誤記錄數。
      "record": "0"
    },
    "speed": {
      "throttle": true,//當throttle值為false時，mbps參數不生效，表示不限流；當throttle值為true時,表示限流。
      "concurrent": 1,//作業並發數。
      "mbps": "12"//限流，控制同步的最高速率，防止對上遊/下遊資料庫讀取/寫入壓力過大，此處1mbps = 1MB/s。
    }
  },
  "order": {
    "hops": [
      {
        "from": "Reader",
        "to": "Writer"
      }
    ]
  }
}