当前使用DataWorks的实时数据同步任务同步数据时,仅支持使用独享数据集成资源组。本文为您介绍使用实时数据同步任务同步数据时,需要使用的资源及相关配置。
背景信息
- 资源准备与规划:
使用实时数据同步任务同步数据时,当前仅支持使用独享数据集成资源组。因此,在进行数据同步前,您需要购买独享数据集成资源组,并将资源组添加至DataWorks中,便于后续同步任务使用。
独享数据集成资源组的详细介绍可参见独享数据集成资源组。
- 网络联通:
独享数据集成资源组本质上为一组资源实例,购买添加完成后的初始状态下,与其他产品的网络并不联通,因此您需要为独享数据集成资源组绑定网络环境,为后续与数据源进行数据同步做好网络联通的准备。
购买独享数据集成资源组
- 登录DataWorks控制台。
- 选择相应地域后,在左侧导航栏,单击资源组列表。
- 在独享资源组页面,单击创建独享资源组。
- 在创建独享资源组对话框中,单击订单号后的购买,跳转至购买页面。
- 进入购买页面后,请根据实际需要,选择相应的地域、独享资源类型、资源数量和计费周期,单击立即购买。说明 此处的独享资源类型选择独享数据集成资源:
- 独享资源组不支持跨地域使用,即华东2(上海)地域的独享资源,只能给华东2(上海)地域的工作空间使用。
- 独享资源组的规格和性能请参见独享数据集成资源组计费说明:包年包月。
- 确认订单信息无误后,勾选《DataWorks独享资源(包年包月)服务协议》,单击去支付。
新增独享数据集成资源组
- 在创建独享资源组。 页面,单击
- 在创建独享资源组对话框中,配置各项参数。
参数 描述 资源组类型 资源的使用类型。独享资源包括独享调度资源和独享数据集成资源两种类型,分别适用于通用任务调度和数据同步任务专用。 资源组名称 资源的名称,租户内唯一,请避免重复。 说明 租户即主账号,一个租户(主账号)下可以有多个用户(子账号)。资源组备注 对资源进行简单描述。 订单号 此处选择购买的独享资源订单。如果没有购买,请单击购买,跳转至售卖页进行购买。 - 配置完成后,单击确定。 说明 独享资源在20分钟内完成环境初始化,请耐心等待其状态更新为运行中。
绑定专有网络
独享资源部署在DataWorks托管的专有网络(VPC)中,与其他网络环境不连通。使用独享资源时,您需进行网络配置,为独享资源绑定一个可与数据源连通的VPC,通过此VPC实现与数据源网络连通。绑定专有网络的操作如下。
重要 4c8g类型的独享数据集成资源组最多支持绑定2个专有网络,其他规格的独享数据集成资源组最多支持绑定3个专有网络。
- 登录DataWorks控制台。
- 在资源组列表的独享资源组页签下,单击相应资源组后的网络设置,进入专有网络绑定页面。绑定前,请首先使用阿里云主账号进行RAM授权(仅主账号有权限),让DataWorks拥有访问您的云资源的权限。您可以通过云资源访问授权页面进行授权。也可以在主账号首次进入管控后弹出的界面弹框中进行授权。
- 绑定专有网络VPC。说明 如果数据源和独享资源组不在同一个地域,或不在同一个阿里云账号下,则您需要绑定专有网络后,再添加路由规则指向目标数据库IP地址。
- 可选:配置Host。如果您的数据源无法通过IP直接访问,例如,数据源通过Host的域名托管,通过Host域名直接被外部访问时,您需要参考以下步骤配置Host,否则在添加数据源时,使用数据源的Host域名进行连通性测试时会失败。
后续步骤
资源规划配置完成后,您可继续配置数据源,将来源数据源与去向数据源的网络、账号权限等准备工作完成,以便创建执行后续的实时数据同步任务。目前同步数据至Kafka的来源数据源仅支持MySQL,数据源的配置可参见配置数据源(来源为MySQL)。