阿里云数据湖构建(Data Lake Formation,简称DLF)是一款全托管的统一元数据和数据存储及管理平台,旨在为客户提供元数据管理、存储管理、权限管理、存储分析和存储优化等功能。DataWorks数据集成支持写入DLF2.0数据源,本文将为您介绍DLF的使用详情。
使用限制
仅支持数据集成使用。
创建数据源
进入数据源页面。
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的 ,在下拉框中选择对应工作空间后单击进入管理中心。
进入工作空间管理中心页面后,单击左侧导航栏的
,进入数据源页面。
单击新增数据源按钮,搜索并选择Data Lake Formation 2.0,来创建数据源,可参考以下表格内容:
参数
说明
数据源名称
可自定义数据源名称。数据源名称工作空间内唯一;必须以字母、数字、下划线组合,且不能以数字和下划线开头。
配置模式
仅支持阿里云实例模式。
访问身份
可选择如下内容:
阿里云主账号。
阿里云RAM子账号。
阿里云RAM角色。
可按需求进行选择。
DLF数据目录(Catalog)
默认加载与DataWorks同地域下的DLF数据目录。
数据库名称
选择数据目录下的数据库。
以上内容配置完成后,需在连接配置模块测试该数据源与Serverless资源组的连通性,若连通性测试为可连通,即可单击完成编辑,完成该数据源的创建。若连通性测试失败,则需参考网络连通进行排查。
创建数据集成任务
在DataWorks的数据集成中,支持使用Data Lake Formation 2.0 数据源,详情可参见:同步数据至Data Lake Formation 2.0。