大数据开发治理平台 DataWorks：MySQL数据源

本文为您提供单库单表和分库分表的配置示例：

• 配置单库单表

  {
    "type": "job",
    "version": "2.0",//版本号。
    "steps": [
      {
        "stepType": "mysql",//插件名。
        "parameter": {
          "column": [//列名。
            "id"
          ],
          "connection": [
            {
              "querySql": [
                "select a,b from join1 c join join2 d on c.id = d.id;"
              ],
              "datasource": ""//数据源名称。
            }
          ],
          "where": "",//过滤条件。
          "splitPk": "",//切分键。
          "encoding": "UTF-8"//编码格式。
        },
        "name": "Reader",
        "category": "reader"
      },
      {
        "stepType": "stream",
        "parameter": {},
        "name": "Writer",
        "category": "writer"
      }
    ],
    "setting": {
      "errorLimit": {
        "record": "0"//错误记录数。
      },
      "speed": {
        "throttle": true,//当throttle值为false时，mbps参数不生效，表示不限流；当throttle值为true时,表示限流。
        "concurrent": 1,//作业并发数。
        "mbps": "12"//限流，此处1mbps = 1MB/s。
      }
    },
    "order": {
      "hops": [
        {
          "from": "Reader",
          "to": "Writer"
        }
      ]
    }
  }

• 配置分库分表

  说明

  分库分表是指在MySQL Reader端可以选择多个MySQL数据表，且表结构保持一致。此处的‘分库分表’是指多个MySQL写入同一个目标表，如想要支持整库级别配置分库分表，还请在数据集成站点建立任务并选择整库分库分表能力

  {
    "type": "job",
    "version": "2.0",
    "steps": [
      {
        "stepType": "mysql",
        "parameter": {
          "indexes": [
            {
              "type": "unique",
              "column": [
                "id"
              ]
            }
          ],
          "envType": 0,
          "useSpecialSecret": false,
          "column": [
            "id",
            "buyer_name",
            "seller_name",
            "item_id",
            "city",
            "zone"
          ],
          "tableComment": "测试订单表",
          "connection": [
            {
              "datasource": "rds_dataservice",
              "table": [
                "rds_table"
              ]
            },
            {
              "datasource": "rds_workshop_log",
              "table": [
                "rds_table"
              ]
            }
          ],
          "where": "",
          "splitPk": "id",
          "encoding": "UTF-8"
        },
        "name": "Reader",
        "category": "reader"
      },
      {
        "stepType": "odps",
        "parameter": {},
        "name": "Writer",
        "category": "writer"
      },
      {
        "name": "Processor",
        "stepType": null,
        "category": "processor",
        "copies": 1,
        "parameter": {
          "nodes": [],
          "edges": [],
          "groups": [],
          "version": "2.0"
        }
      }
    ],
    "setting": {
      "executeMode": null,
      "errorLimit": {
        "record": ""
      },
      "speed": {
        "concurrent": 2,
        "throttle": false
      }
    },
    "order": {
      "hops": [
        {
          "from": "Reader",
          "to": "Writer"
        }
      ]
    }
  }

{
  "type": "job",
  "version": "2.0",//版本号。
  "steps": [
    {
      "stepType": "stream",
      "parameter": {},
      "name": "Reader",
      "category": "reader"
    },
    {
      "stepType": "mysql",//插件名。
      "parameter": {
        "postSql": [],//导入后的准备语句。
        "datasource": "",//数据源。
        "column": [//列名。
          "id",
          "value"
        ],
        "writeMode": "insert",//写入模式，您可以设置为insert、replace或update。
        "batchSize": 1024,//一次性批量提交的记录数大小。
        "table": "",//表名。
        "nullMode": "skipNull",//NULL值处理策略。
        "skipNullColumn": [//需要跳过NULL值的列。
          "id",
          "value"
        ],
        "preSql": [
          "delete from XXX;"//导入前的准备语句。
        ]
      },
      "name": "Writer",
      "category": "writer"
    }
  ],
  "setting": {
    "errorLimit": {//错误记录数。
      "record": "0"
    },
    "speed": {
      "throttle": true,//当throttle值为false时，mbps参数不生效，表示不限流；当throttle值为true时,表示限流。
      "concurrent": 1,//作业并发数。
      "mbps": "12"//限流，控制同步的最高速率，防止对上游/下游数据库读取/写入压力过大，此处1mbps = 1MB/s。
    }
  },
  "order": {
    "hops": [
      {
        "from": "Reader",
        "to": "Writer"
      }
    ]
  }
}