大数据开发治理平台 DataWorks：TiDB数据源

准备工作1：确认TiDB版本

数据集成对TiDB版本有7.x或8.x的版本要求，需要您确认前待同步的TiDB是否符合版本要求。您可以在TiDB数据库通过如下语句查看当前TiDB数据库版本。

SELECT TIDB_VERSION()\G

*************************** 1. row ***************************
TIDB_VERSION(): Release Version: v8.1.1
Edition: Community
Git Commit Hash: 821e491a20fbab36604b36b647b5bae26a2c1418
Git Branch: HEAD
UTC Build Time: 2024-08-27 19:16:25
GoVersion: go1.21.10
Race Enabled: false
Check Table Before Drop: false
Store: tikv
1 row in set (0.00 sec)

准备工作2：配置账号权限

可提前规划并创建一个专用于DataWorks访问数据源的TiDB账号，操作如下：

1. （可选）创建账号，操作详情请参见：TiDB 用户账户管理。

2. 配置权限。

   • 在离线读TiDB数据时，此账号需拥有同步表的读（SELECT）权限。

   • 在离线写TiDB数据时，此账号需拥有同步表的写（INSERT、DELETE、UPDATE）权限。

   可以参考以下命令为账号添加权限，或直接给账号赋予SUPER权限。如下执行语句在实际使用时，请替换'同步账号'为上述创建的账号。

   -- CREATE USER '同步账号'@'%' IDENTIFIED BY '密码'; //创建同步账号并设置密码，使其可以通过任意主机登录数据库。%表示任意主机。
   GRANT SELECT ON *.* TO '同步账号'@'%'; //授权同步账号数据库的 SELECT权限。

   *.*表示授权同步账号对所有数据库的所有表拥有上述权限。您也可以指定授权同步账号对目标数据库的指定表拥有上述权限。例如，授权同步账号对test数据库的user表拥有上述权限，则可以使用GRANT SELECT ON test.user TO '同步账号'@'%';语句。

   说明

   REPLICATION SLAVE语句为全局权限，不能指定授权同步账号对目标数据库的指定表拥有相关权限。

离线任务脚本配置方式

如果您配置离线任务时使用脚本模式的方式进行配置，您需要按照统一的脚本格式要求，在任务脚本中编写相应的参数，详情请参见通过脚本模式配置离线同步任务，以下为您介绍脚本模式下数据源的参数配置详情。

Reader脚本Demo

本文为您提供单库单表和分库分表的配置示例：

{
  "type": "job",
  "version": "2.0",
  "steps":
  [
    {
      "stepType": "tidb",
      "parameter":
      {
        "column":
        [
          "id",
          "name"
        ],
        "where": "",
        "splitPk": "id",
        "connection":
        [
          {
            "selectedDatabase": "test_database",
            "datasource": "test_datasource",
            "table":
            [
              "test_table"
            ]
          }
        ]
      },
      "name": "Reader",
      "category": "reader"
    },
    {
      "stepType": "odps",
      "parameter":
      {
      },
      "name": "Writer",
      "category": "writer"
    }
  ],
  "setting":
  {
    "errorLimit":
    {
      "record": "0"
    },
    "speed":
    {
      "throttle": false,
      "concurrent": 3
    }
  },
  "order":
  {
    "hops":
    [
      {
        "from": "Reader",
        "to": "Writer"
      }
    ]
  }
}

Reader脚本参数