Data Studio数据目录全面支持OpenLake湖仓一体架构,实现统一元数据管理,建表方式多样化,辅助智能建表,提升数据研发效率,满足不同类型用户多样化元数据创建及管理的需求。
前提条件
已创建工作空间,并选择参加数据开发(Data Studio)(新版)公测。
数据目录管理
添加数据目录
默认添加
DataWorks在创建工作空间,并绑定计算资源(MaxCompute、Hologres、StarRocks)时,会同步创建对应数据源并绑定其数据目录。工作空间绑定的数据目录会同步展示在数据目录中,无需您手动绑定。具体详情请参见创建工作空间并绑定计算资源。
主动添加
Data Studio的数据目录支持您按需绑定个人有权限的数据目录。
进入DataWorks工作空间列表页,在顶部切换至目标地域,找到已创建的工作空间,单击操作列的 ,进入Data Studio。
在左侧导航栏单击,进入数据目录。
按需绑定数据目录。
MaxCompute
如果您的项目空间未绑定计算资源,则首次打开MaxCompute数据目录时,该目录下为空,请单击或添加项目添加MaxCompute数据目录。
您可以查找并添加您需要添加的MaxCompute Project作为您的数据目录。
MaxCompute - 项目
该页签下包含与DataWorks相同地域下,您具备管理权限的MaxCompute项目,您可以单击操作栏中的添加,即可将该项目添加到数据目录。
该页签下还包含MaxCompute内置项目SYSTEM_CATALOG和BIGDATA_PUBLIC_DATASET。
SYSTEM_CATALOG:该项目内置
INFORMATION_SCHEMA
,访问该内置Schema提供的只读视图,可以查询当前用户所有MaxCompute项目的元数据信息以及使用历史信息,详情请参见租户级别Information Schema。BIGDATA_PUBLIC_DATASET:该项目存储着MaxCompute开放的公开数据集数据。MaxCompute的公开数据集的详细信息,请参见公开数据集概述。
DataWorks 数据源
该页签下包含DataWorks数据源绑定的MaxCompute Project,您可以单击操作列的添加为数据目录,将该数据源的数据目录绑定至工作空间。
Hologres
如果您在创建工作空间后,已通过工作空间详情页或管理中心绑定了数据目录,则此时在数据开发数据目录中即可查看并管理数据目录。更多详情,请参见创建工作空间并绑定计算资源。
如果您的项目空间未绑定计算资源,则首次打开Hologres数据目录时,该目录下为空,请单击或添加实例添加Hologres数据目录。
您可以按需添加Hologres - 实例或已在DataWorks创建的Hologres数据源。
Hologres - 实例
该页签下包含与DataWorks项目空间相同地域下,您具备管理权限的Hologres实例,您可以单击操作列添加,将该实例的数据目录绑定至项目空间。
DataWorks 数据源
该页签下包含DataWorks数据源绑定的MaxCompute项目,您可以单击操作列的添加为数据目录,将该数据源的数据目录绑定至工作空间。
DLF Catalog
如果您在创建工作空间后,已通过工作空间详情页或管理中心绑定了数据目录,则此时在数据开发数据目录中即可查看并管理数据目录。更多详情,请参见创建工作空间并绑定计算资源。
如果您的项目空间未绑定计算资源,则首次打开DLF Catalog数据目录时,该目录下为空,请单击或添加Catalog添加DLF Catalog数据目录。
DLF Catalog列表页包含与DataWorks项目空间相同地域下,您具备管理权限的DLF Catalog,您可以单击操作列添加,将其绑定至项目空间。
StarRocks
如果您在创建工作空间后,已通过工作空间详情页或管理中心绑定了数据目录,则此时在数据开发数据目录中即可查看并管理数据目录。更多详情,请参见创建工作空间并绑定计算资源。
如果您的项目空间未绑定计算资源,则首次打开StarRocks数据目录时,该目录下为空,请单击或添加实例添加StarRocks数据目录。
您可以添加已在DataWorks创建的StarRocks数据源。
DataWorks 数据源页签下包含已创建的数据源(通过绑定计算资源自动创建、管理中心数据源列表手动创建),您可以单击操作列的添加为数据目录,将该数据源的数据目录绑定至工作空间。
AI Catalog
该数据目录下包含数据集和模型
数据集:包括公开数据集和自定义数据集。
模型:包括AI项目空间中的模型数据。
说明您可以前往人工智能平台PAI控制台,在左侧导航栏单击工作空间列表,进入DataWorks项目空间同名的PAI项目空间,然后在 中查看或创建自定义数据集,在 中查看或注册新模型。
移出数据目录
默认添加的数据目录,不支持在数据开发(Data Studio)的数据目录中进行解绑,需前往
页面或工作空间详情页的计算资源页签解绑。主动添加的数据目录,可在数据开发(Data Studio)的数据目录中,单击操作列的解绑数据目录。
创建数据对象
Data Studio数据目录,支持通过多种方式建表,如可视化建表、DDL建表及Copilot智能建表。此外,数据目录还支持创建外表、视图、资源及函数等数据对象。具体操作说明如下:
本文以MaxCompute表为例,其他类型的数据目录以及视图、资源、函数操作方法请根据界面提示操作。
资源与函数需要在左侧一级目录中单击资源管理(),创建资源或函数。
创建表
打开已添加的MaxCompute项目,您可以通过多种方式进入新建表页面。
在数据目录中单击表,进入表清单页,该页面展示当前Schema下所有内表,然后单击新建表。
在数据目录中右键表选择
。在数据目录中单击表右侧的。
在新建表页面您可以通过如下多种方式按需创建表。
①:可视化建表:进入表新建页面,页面左侧支持您手动录入表名、生命周期、表字段、表分区、表类型等信息,页面右侧DDL区域将会自动解析生成DDL语句。
②:DDL建表:进入表新建页面,页面右侧DDL区域支持您直接编写建表DDL代码,页面左侧可视化区域内容也会自动映射。
③:Copilot建表:对于已经参加Copilot公测的客户,在表新建页面顶部操作区域,可以单击Copilot建表,输入建表需求,如“创建商品维度表”,由大模型生成模型表名、表描述、字段名、字段描述等内容,点击接受即可。此外,您还可以使用字段信息字段列表上面的生成字段,生成字段描述来进行字段生成。
配置完成后,单击新建表页面顶部的发布,在MaxCompute项目中创建该表。
查看并修改表
在数据目录中单击表,然后在表列表页面选择需要查看的表。
您也可以直接在数据目录中单击具体表名。
查看表的明细信息(表字段、分区字段)、基本信息(所属项目、负责人、生命周期等)以及DDL语句。
您可以单击右上角编辑按钮,修改表的相关配置(表名、生命周期、字段信息等)。
删除表
在数据目录中右键待删除的表,然后单击删除,即可删除此表。
附录:从管理中心、工作空间详情页绑定数据目录
管理中心、工作空间详情页绑定数据目录基于数据源,您需要创建相应数据源后,才可以绑定其数据目录。
创建数据源。
进入DataWorks管理中心页,顶部切换至目标地域,然后选择已创建的工作空间,单击进入管理中心。
在左侧导航栏单击
。单击新建数据源。目前支持数据目录的数据源有
Data Lake Formation 2.0(DLF 2.0)
、MaxCompute
、Hologres
、StarRocks
,根据页面参数提示,完成数据源创建。
您可以在管理中心或工作空间详情页绑定数据目录。
管理中心
在左侧导航栏单击数据目录,然后单击绑定数据目录。
目录类型按需选择,然后选择已创建的数据源。
工作空间详情页
进入DataWorks工作空间列表页,在顶部切换至目标地域,找到已创建的工作空间,单击操作列的详情,进入工作空间详情页。
切换至数据目录页签,然后单击绑定数据目录。
目录类型按需选择,然后选择已创建的数据源。