DataWorks支持众多数据源作为数据集成的输入与输出数据源,可通过数据集成模块的数据源为数据集成任务创建数据源,本文为您介绍数据集成侧数据源创建方式。
权限控制
仅拥有运维或空间管理员角色的空间成员,以及拥有AliyunDataWorksFullAccess、AdministratorAccess权限策略的RAM角色可创建数据源,授权详情请参见空间级模块权限管控,为RAM用户授权。
除上述权限外,部分数据源创建时还会存在其他权限控制,请根据界面提示进行授权。
支持的数据源类型
DataWorks数据集成目前支持的数据源可参考支持的数据源及同步方案。
DataWorks数据集成功能在使用不同数据源时存在差异,具体以实际页面为准。
创建数据集成数据源
进入数据集成页面。
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的 ,在下拉框中选择对应工作空间后单击进入数据集成。
单击左侧导航栏中的数据源,进入数据源列表页面。
在数据源列表页面,可根据需要选择新增数据源或批量新增数据源。
创建单个数据源
单击新增数据源,选择需要创建的数据源类型并配置数据源信息。不同数据源的配置存在差异,详细的配置参数解释可在配置界面查看对应参数的文案提示。
测试资源组连通性(可选)。
在连接配置区域,找到工作空间绑定的资源组,单击连通状态列的测试连通性。
说明资源组的详细介绍,请参见DataWorks资源组概述。
如果显示可连通,则单击完成。
如果显示无法连通,表示资源组与数据源无法连通,后续相应数据源任务将无法正常执行。
您需要根据右侧弹出的连通性诊断工具窗口,自助解决连通性问题,如果连通性诊断工具未给出具体解决办法,请检查您设置的账号、密码、连接地址等参数,以及确保将资源组的IP地址加入到数据源的白名单中。更多信息,请参见网络连通。
批量创建数据源
单击批量新增数据源,按如下步骤选择需要创建的数据源类型并配置数据源信息。目前仅支持批量创建Hive、MySQL、PolarDB、SQLServer和Oracle数据源。
选择相应数据源并下载该数据源的配置信息模板。
创建数据源的方式不同(连接串模式或实例模式),则模板配置信息不同,具体请以实际界面为准。
根据模板格式填写数据源信息。
填写完后上传模板文件并启动创建数据源。
创建数据源时,您可根据界面文本框的提示,查看数据源的创建进度及详情。若创建失败,请基于相应报错解决处理。
管理数据集成数据源
在数据源列表页面,您可根据数据源类型和数据源名称对已创建的数据源进行筛选,同时支持对数据源进行编辑、克隆、权限管理以及删除操作。
编辑:可根据需要修改数据源的配置信息。数据源的名称及适用环境无法更改。
删除:可根据需要删除无需使用的数据源,删除数据源对DataWorks不同模块功能的影响如下:
删除数据源时需确认是否存在数据集成任务。若存在,删除该数据源后,会导致数据集成任务运行失败。
如果数据源已授权跨工作空间的用户使用,则删除数据源后,跨工作空间使用该数据源的任务会执行失败。
克隆:可通过克隆功能,快速生成一个与当前数据源配置信息相同的新数据源。
说明克隆的新数据源的名称需要重新定义,不能与当前数据源名称相同。
权限管理:您可通过数据源的权限管理功能,授权其他工作空间下的某用户使用当前数据源。授权后,该用户拥有数据源的查看及使用权限,但无法编辑数据源。详情请参见管理数据源权限。
说明若授权某个工作空间拥有数据源权限,则工作空间中的所有成员均拥有该数据源的查看及使用权限。
附录:不同方式创建数据源说明
标准模式工作空间下,同一个名称的数据源存在开发环境和生产环境两套配置,两套配置可对应底层两个数据库/数据仓库,针对不同环境您可设置不同的数据源信息,使测试与生产调度操作的数据源隔离,以保护生产数据的安全。例如,执行离线同步任务时,可由运行环境控制任务所访问的数据库地址(配置生产、开发数据源对应不同数据库),实现开发环境和生产环境的数据隔离。
空间模式 | 数据集成侧创建数据源 | 管理中心侧创建数据源 |
标准模式工作空间 | 仅创建生产环境数据源。 | 可同时创建生产环境与开发环境数据源。 |
简单模式工作空间 | 单模式工作空间仅拥有一个环境,在数据集成侧创建的数据源与管理中心侧创建的数据源之间无区别。 |