表格存储：数据集成服务

请确保已完成以下准备工作后再进行后续操作。

• 已确认和记录MaxCompute中要同步到表格存储的表信息。

• 已创建RAM用户并为RAM用户授予管理表格存储权限（AliyunOTSFullAccess）和管理DataWorks权限（AliyunDataWorksFullAccess）。具体操作，请参见创建RAM用户和为RAM用户授权。

• 已为RAM用户创建AccessKey。具体操作，请参见创建AccessKey。

• 已开通DataWorks服务并创建工作空间。具体操作，请参见开通DataWorks服务和创建工作空间。

• 已开通表格存储服务，创建表格存储实例以及创建数据表。具体操作，请参见开通表格存储服务、创建实例和创建数据表。

  重要

  表格存储中数据表主键的名称和类型必须与MaxCompute中要写入主键的名称和类型相匹配。表格存储中数据表属性列不需要定义，属性列的列名可在写入数据时指定。

此处以创建表格存储数据源为例介绍数据源的新增操作，请根据实际创建所需数据源。

1. 进入数据集成页面。

   1. 以项目管理员身份登录DataWorks控制台。

   2. 在左侧导航栏，单击工作空间列表后，选择地域。

   3. 在工作空间列表页面，在目标工作空间操作列选择快速进入>数据集成。

2. 在左侧导航栏，单击数据源。

3. 在数据源页面，单击新增数据源。

4. 在新增数据源对话框，找到Tablestore区块，单击Tablestore。

5. 在新增OTS数据源对话框，根据下表配置数据源参数。

   参数	说明
   数据源名称	数据源名称必须以字母、数字、下划线（_）组合，且不能以数字和下划线（_）开头。
   数据源描述	对数据源进行简单描述，不得超过80个字符。
   Endpoint	Tablestore实例的服务地址。更多信息，请参见服务地址。 如果Tablestore实例和目标数据源的资源在同一个地域，填写VPC地址；如果Tablestore实例和目标数据源的资源不在同一个地域，填写公网地址。
   Table Store实例名称	Tablestore实例的名称。更多信息，请参见实例。
   AccessKey ID	阿里云账号或者RAM用户的AccessKey ID和AccessKey Secret。获取方式请参见创建AccessKey。
   AccessKey Secret

6. 测试资源组连通性。

   创建数据源时，您需要测试资源组的连通性，以保证同步任务使用的资源组能够与数据源连通，否则将无法正常执行数据同步任务。

   重要

   数据同步时，一个任务只能使用一种资源组。资源组列表默认显示仅数据集成公共资源组。为确保数据同步的稳定性和性能要求，推荐使用独享数据集成资源组。

   1. 单击前往购买进行全新创建或单击绑定已购资源组绑定已有资源组。具体操作，请参见新增和使用独享数据集成资源组。

   2. 单击相应资源组操作列的测试连通性。

      当连通状态显示为可连通时，表示连通成功。

7. 测试连通性通过后，单击完成。

   在数据源列表中，可以查看新建的数据源。

1. 新增同步任务节点。

   1. 进入数据开发页面。

      登录DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据开发与治理 > 数据开发，在下拉框中选择对应工作空间后单击进入数据开发。

   2. 在DataStudio控制台的数据开发页面，单击业务流程节点下的目标业务流程。

      如果需要新建业务流程，请参见创建业务流程。

   3. 在数据集成节点上右键选择新建节点 > 离线同步。

   4. 在新建节点对话框，输入名称，然后单击确认。

      在数据集成节点下会显示新建的离线同步节点。

2. 配置网络与资源链路。

   选择离线同步任务的数据来源、数据去向以及用于执行同步任务的资源组，并测试连通性。

   1. 在数据集成节点下，双击打开新建的离线同步任务节点。

   2. 在网络与资源配置步骤，选择数据来源为MaxCompute(ODPS)，并选择数据源名称为MaxCompute数据源。

   3. 选择资源组。

      选择资源组后，系统会显示资源组的地域、规格等信息以及自动测试资源组与所选数据源之间的连通性。

      重要

      请与新增数据源时选择的资源组保持一致。

   4. 选择数据去向为OTS，并选择数据源名称为表格存储数据源。

      系统会自动测试资源组与所选数据源之间连通性。

   5. 测试数据源可连通后，单击下一步。

3. 配置数据来源与数据去向。

   1. 在配置数据来源与去向区域，根据下表说明配置数据来源。

      参数	说明
      Tunnel资源组	MaxCompute的数据传输资源。默认值为公共传输资源，即MaxCompute的免费配额。
      表	MaxCompute中的表名称。
      分区信息	读取的数据所在的分区信息。

   2. 在配置数据来源与去向区域，根据下表说明配置数据去向。

      参数	说明
      表	表格存储中的数据表名称。
      主键信息	表格存储数据表的主键信息，以JSON格式的数组表示。数据表的主键由1~4个主键列组成，请根据实际主键列个数进行配置。 重要 主键信息的主键列个数、顺序以及类型必须与数据表中实际的主键配置信息一致。 配置示例如下： [ { "name": "pk", "type": "string" } ]
      写入模式	数据写入表格存储的模式。取值范围如下： PutRow：对应于Tablestore API PutRow，插入数据到指定的行。如果该行不存在，则新增一行。如果该行存在，则覆盖原有行。 UpdateRow：对应于Tablestore API UpdateRow，更新指定行的数据。如果该行不存在，则新增一行。如果该行存在，则根据请求的内容在这一行中新增、修改或者删除指定列的值。

4. 配置字段映射关系。

   选择数据来源和数据去向后，需要指定读取端列和写入端列的映射关系，配置字段映射关系后，任务将根据字段映射关系，将源端字段写入目标端对应类型的字段中。系统默认按同行映射执行字段映射。

   重要

   • 如需改变映射顺序，您可以单击来源字段后的目标字段后的图标进行编辑。其中来源字段中的单个字段直接填写字段名称即可，目标字段中的单个字段要以JSON格式表示，例如{"name":"age","type":"INTEGER"}。一行表示一个字段。

   • 表格存储中数据表属性列的数据类型必须与MaxCompute中要写入字段的数据类型相匹配。数据表属性列的名称可与MaxCompute中要写入的字段名称不同，

   由于数据去向参数中默认会配置主键列信息，因此您需要手动删除目标字段中的主键列信息，否则任务执行失败。

   1. 单击目标字段后的图标。

   2. 在手动编辑表字段对话框中，删除目标字段中的主键列信息，并根据需要增加或修改属性列信息。

   3. 单击确认。

5. 配置通道。

   在通道控制区域，配置任务运行参数，例如同步速率、脏数据同步策略等。关于参数配置的更多信息，请参见配置通道。

6. 单击图标，保存配置。

   说明

   执行后续操作时，如果未保存配置，则系统会出现保存确认的提示，单击确认即可。

7. 执行同步任务。

   重要

   全量数据一般只需要同步一次，无需配置调度属性。

   1. 单击图标。

   2. 在参数对话框，选择运行资源组的名称。

   3. 单击运行。

      运行结束后，在同步任务的运行日志页签，单击Detail log url对应的链接后。在任务的详细运行日志页面，查看Current task status对应的状态。

      当Current task status的值为FINISH时，表示任务运行完成。

在表格存储控制台查看表格存储数据同步结果。

1. 登录表格存储控制台。

2. 在概览页面上方，选择地域。

3. 单击实例名称。

4. 在实例详情页签下的数据表列表页签，单击目标数据表名称。

5. 在数据管理页签，即可查看同步到该数据表中的数据。