大数据开发治理平台 DataWorks：PolarDB数据源

单库单表的脚本示例如下，详情请参见上述参数说明。

{
    "type": "job",
    "steps": [
        {
            "parameter": {
                "datasource": "test_005",//数据源名。
                "column": [//源端列名。
                    "id",
                    "name",
                    "age",
                    "sex",
                    "salary",
                    "interest"
                ],
                "where": "id=1001",//过滤条件。
                "splitPk": "id",//切分键。
                "table": "PolarDB_person",//源端表名。
              	"useReadonly": "false"//是否从备库读取数据。
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "parameter": {}
    ],
    "version": "2.0",//版本号。
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    },
    "setting": {
        "errorLimit": {//错误记录数。
            "record": ""
        },
        "speed": {
            "concurrent": 6,//并发数。
            "throttle": true//当throttle值为false时，mbps参数不生效，表示不限流；当throttle值为true时,表示限流。
      "mbps":"12",//限流，此处1mbps = 1MB/s。
        }
    }
}

脚本配置样例如下，详情请参见上述参数说明。

{
    "type": "job",
    "steps": [
        {
            "parameter": {},
            "name": "Reader",
            "category": "reader"
        },
        {
            "parameter": {
                "postSql": [],//导入后完成语句。
                "datasource": "test_005",//数据源名称。
                "column": [//目标列名。
                    "id",
                    "name",
                    "age",
                    "sex",
                    "salary",
                    "interest"
                ],
                "writeMode": "insert",//写入模式。
                "batchSize": 256,//一次性批量提交的记录数大小。
                "table": "PolarDB_person_copy",//目标表名。
                "preSql": []//导入前准备语句。
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "version": "2.0",//版本号。
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    },
    "setting": {
        "errorLimit": {//错误记录数。
            "record": ""
        },
        "speed": {
            "throttle":true,//当throttle值为false时，mbps参数不生效，表示不限流；当throttle值为true时,表示限流。
            "concurrent":6, //作业并发数。
            "mbps":"12"//限流，此处1mbps = 1MB/s。
        }
    }
}

• 全量参数说明

  参数	描述	必选	默认值
  datasource	数据源名称，脚本模式支持添加数据源，此配置项填写的内容必须要与添加的数据源名称保持一致。	是	无
  table	选取的需要同步的表名称。	是	无
  writeMode	选择导入模式，可以支持： insert（即向导模式的insert into） update（即向导模式的on duplicate key update） replace（即向导模式的replace into） 不同方式的详细介绍与场景示例请参见下文的writeMode（主键冲突）参数详解。	否	insert
  column	目标表需要写入数据的字段，字段之间用英文所逗号分隔。例如"column": ["id", "name", "age"]。如果要依次写入全部列，使用（*）表示。 例如"column": [" *"]。	是	无
  preSql	执行数据同步任务之前率先执行的SQL语句。目前向导模式仅允许执行一条SQL语句，脚本模式可以支持多条SQL语句，例如清除旧数据。	否	无
  postSql	执行数据同步任务之后执行的SQL语句，目前向导模式仅允许执行一条SQL语句，脚本模式可以支持多条SQL语句，例如加上某一个时间戳。	否	无
  batchSize	一次性批量提交的记录数大小，该值可以极大减少数据同步系统与PolarDB的网络交互次数，并提升整体吞吐量。但是该值设置过大可能会造成数据同步运行进程OOM情况。	否	1,024
  updateColumn	当writeMode配置成update时，发生遇到主键/唯一性索引冲突时所更新的字段。字段之间用英文逗号所分隔，例如"updateColumn": ["name", "age"]。 说明 目前仅支持PolarDB for MySQL。	否	无

• writeMode（主键冲突）参数详解

  对比介绍	insert（即向导模式的insert into）	update（即向导模式的on duplicate key update）	replace（即向导模式的replace into）
  处理策略	当主键或唯一性索引冲突时，冲突行不写入目标表，以脏数据的形式体现。	没有遇到主键或唯一性索引冲突时，与insert into行为一致。冲突时会用新行替换已经指定的字段的语句，写入数据至目标表。	没有遇到主键或唯一性索引冲突时，与insert into行为一致。冲突时会先删除原有行，再插入新行。即新行会替换原有行的所有字段。
  数据示例	源表数据 +----+---------+-----+ | id | name | age | +----+---------+-----+ | 1 | zhangsan| 1 | | 2 | lisi | | +----+---------+-----+ 目标表原始数据 +----+---------+-----+ | id | name | age | +----+---------+-----+ | 2 | wangwu | | +----+---------+-----+ 运行任务后，成功写入目标表1条数据，脏数据1条。 +----+---------+-----+ | id | name | age | +----+---------+-----+ | 1 | zhangsan| 1 | | 2 | wangwu | | +----+---------+-----+	场景1：任务配置部分字段："column": ["id","name"] 源表数据 +----+---------+-----+ | id | name | age | +----+---------+-----+ | 1 | zhangsan| 1 | | 2 | lisi | | +----+---------+-----+ 目标表原始数据 +----+---------+-----+ | id | name | age | +----+---------+-----+ | 2 | wangwu | 3 | +----+---------+-----+ 运行任务后，成功写入目标表2条数据，脏数据0条。 +----+---------+-----+ | id | name | age | +----+---------+-----+ | 1 | zhangsan| 1 | | 2 | lisi | 3 | +----+---------+-----+ 场景2：任务配置所有字段，"column": ["id","name","age"] 源表数据 +----+---------+-----+ | id | name | age | +----+---------+-----+ | 1 | zhangsan| 1 | | 2 | lisi | | +----+---------+-----+ 目标表原始数据 +----+---------+-----+ | id | name | age | +----+---------+-----+ | 2 | wangwu | 3 | +----+---------+-----+ 运行任务后，成功写入目标表2条数据，脏数据0条。 +----+---------+-----+ | id | name | age | +----+---------+-----+ | 1 | zhangsan| 1 | | 2 | lisi | | +----+---------+-----+	源表数据 +----+---------+-----+ | id | name | age | +----+---------+-----+ | 1 | zhangsan| 1 | | 2 | lisi | | +----+---------+-----+ 目标表原始数据 +----+---------+-----+ | id | name | age | +----+---------+-----+ | 2 | wangwu | 3 | +----+---------+-----+ 运行任务后，成功写入目标表2条数据，脏数据0条。 +----+---------+-----+ | id | name | age | +----+---------+-----+ | 1 | zhangsan| 1 | | 2 | lisi | | +----+---------+-----+