全部产品
Search
文档中心

大数据开发治理平台 DataWorks:创建数据集成数据源

更新时间:Oct 23, 2024

DataWorks支持众多数据源作为数据集成的输入与输出数据源,可通过数据集成模块的数据源为数据集成任务创建数据源,本文为您介绍数据集成侧数据源创建方式。

权限控制

仅拥有运维空间管理员角色的空间成员,以及拥有AliyunDataWorksFullAccessAdministratorAccess权限策略的RAM角色可创建数据源,授权详情请参见空间级模块权限管控为RAM用户授权

除上述权限外,部分数据源创建时还会存在其他权限控制,请根据界面提示进行授权。

支持的数据源类型

DataWorks数据集成目前支持的数据源可参考支持的数据源及同步方案

说明

DataWorks数据集成功能在使用不同数据源时存在差异,具体以实际页面为准。

创建数据集成数据源

  1. 进入数据集成页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据开发与治理 > 数据集成,在下拉框中选择对应工作空间后单击进入数据集成

  2. 单击左侧导航栏中的数据源,进入数据源列表页面。

  3. 在数据源列表页面,可根据需要选择新增数据源批量新增数据源

    创建单个数据源

    1. 单击新增数据源,选择需要创建的数据源类型并配置数据源信息。不同数据源的配置存在差异,详细的配置参数解释可在配置界面查看对应参数的文案提示。

    2. 测试资源组连通性(可选)。

      连接配置区域,找到工作空间绑定的资源组,单击连通状态列的测试连通性

      说明

      资源组的详细介绍,请参见DataWorks资源组概述

      • 如果显示可连通,则单击完成

      • 如果显示无法连通,表示资源组与数据源无法连通,后续相应数据源任务将无法正常执行。

        您需要根据右侧弹出的连通性诊断工具窗口,自助解决连通性问题,如果连通性诊断工具未给出具体解决办法,请检查您设置的账号、密码、连接地址等参数,以及确保将资源组的IP地址加入到数据源的白名单中。更多信息,请参见网络连通

    批量创建数据源

    单击批量新增数据源,按如下步骤选择需要创建的数据源类型并配置数据源信息。目前仅支持批量创建HiveMySQLPolarDBSQLServerOracle数据源。

    1. 选择相应数据源并下载该数据源的配置信息模板。

      创建数据源的方式不同(连接串模式实例模式),则模板配置信息不同,具体请以实际界面为准。

    2. 根据模板格式填写数据源信息。

    3. 填写完后上传模板文件并启动创建数据源。

      创建数据源时,您可根据界面文本框的提示,查看数据源的创建进度及详情。若创建失败,请基于相应报错解决处理。

说明
  • DataWorks支持通过连接串模式实例模式创建数据源,不同创建方式的配置信息存在差异,请根据需要选择。

    当使用连接串模式配置数据源时,DataWorks会对数据源的JDBC URL进行解析。若JDBC URL中包含DataWorks暂不支持的参数,DataWorks会将该参数移除。若您希望在JDBC URL中继续使用DataWorks不支持的参数,则请提交工单联系技术支持人员咨询。

  • 同一个数据源名称可分别配置开发环境数据源、生产环境数据源,且不同环境的数据源配置是相互独立的。

  • 更多数据集成数据源创建与介绍请参见:数据源列表

管理数据集成数据源

数据源列表页面,您可根据数据源类型数据源名称对已创建的数据源进行筛选,同时支持对数据源进行编辑克隆权限管理以及删除操作。

image

  • 编辑:可根据需要修改数据源的配置信息。数据源的名称及适用环境无法更改。

  • 删除:可根据需要删除无需使用的数据源,删除数据源对DataWorks不同模块功能的影响如下:

    • 删除数据源时需确认是否存在数据集成任务。若存在,删除该数据源后,会导致数据集成任务运行失败。

    • 如果数据源已授权跨工作空间的用户使用,则删除数据源后,跨工作空间使用该数据源的任务会执行失败。

  • 克隆:可通过克隆功能,快速生成一个与当前数据源配置信息相同的新数据源。

    说明

    克隆的新数据源的名称需要重新定义,不能与当前数据源名称相同。

  • 权限管理:您可通过数据源的权限管理功能,授权其他工作空间下的某用户使用当前数据源。授权后,该用户拥有数据源的查看及使用权限,但无法编辑数据源。详情请参见管理数据源权限

    说明

    若授权某个工作空间拥有数据源权限,则工作空间中的所有成员均拥有该数据源的查看及使用权限。

附录:不同方式创建数据源说明

标准模式工作空间下,同一个名称的数据源存在开发环境和生产环境两套配置,两套配置可对应底层两个数据库/数据仓库,针对不同环境您可设置不同的数据源信息,使测试与生产调度操作的数据源隔离,以保护生产数据的安全。例如,执行离线同步任务时,可由运行环境控制任务所访问的数据库地址(配置生产、开发数据源对应不同数据库),实现开发环境和生产环境的数据隔离。

空间模式

数据集成侧创建数据源

管理中心侧创建数据源

标准模式工作空间

仅创建生产环境数据源。

可同时创建生产环境与开发环境数据源。

简单模式工作空间

单模式工作空间仅拥有一个环境,在数据集成侧创建的数据源与管理中心侧创建的数据源之间无区别。

说明

若在标准工作空间下,需创建开发态数据源,需前往项目管理中进行配置,详情请参见:创建并管理数据源