全部产品
Search
文档中心

大数据开发治理平台 DataWorks:数据地图概述

更新时间:Nov 14, 2024

数据地图是在元数据基础上提供的企业数据目录管理模块,涵盖全局数据检索、元数据详情查看、数据预览、数据血缘和数据类目管理等功能。数据地图可以帮助您更好地查找、理解和使用数据。

元数据采集与接入

  • MaxCompute数据

    如果您使用了MaxCompute引擎,您可以直接在数据地图进行MaxCompute表元数据管理的相关操作。

  • 其他类型元数据

    除MaxCompute外,您还可以通过元数据采集功能将不同数据源中的元数据导入数据地图进行统一管理。在数据发现页面通过元数据采集器将其他数据源中的元数据采集至DataWorks数据地图,采集完成后,您可以在数据地图搜索并查看各数据源的元数据信息。除MaxCompute以外,目前数据地图支持的其他数据源类型有:E-MapReduceHologresCDH HiveCDH KuduCDH HbaseAnalyticDB for MySQL 2.0AnalyticDB for MySQL 3.0AnalyticDB for PostgreSQLTablestore(OTS)PostgreSQLMySQLSQL ServerOracleClickHouseStarRocks(持续扩充中),元数据采集配置详情请参见元数据采集

    说明

    如果需要在数据开发表管理进行可视化建表操作,请先在数据地图进行元数据采集,可视化建表操作请参见表管理

    元数据采集

网络连通

如果您需要将数据源中的元数据导入数据地图进行统一的元数据管理,需要先确保数据地图元数据采集器能正常访问您的数据库。如果您需要进行元数据采集的数据库已开启白名单访问控制,请在数据库白名单列表中,添加您使用的DataWorks所在地域对应的IP网段。需要配置的白名单请参见元数据采集的数据源有白名单访问控制时需要配置的白名单

数据总览

  • 您可以在数据总览页面查看当前地域(Region)下的MaxCompute总项目数,总表数、存储量、总API数、存储趋势图、项目占有率Top、表占有率Top和热门表。

  • 您还可以查看元数据采集完成后的AnalyticDB for MySQL 3.0MySQLE-MapReduceHologresAnalyticDB for PostgreSQLOTS等的数据库总数,总表数、总API数等信息。

详情请参见数据总览

查找表、代码和API

在首页查找

  • 您还可以通过首页中的API类目下展示的近期浏览的API、热门浏览的API、热门调用的API等列表快速获取相应的API,或者在搜索框中输入关键字搜索目标API,详情请参见通用数据查询与管理

  • 您可以通过首页中的类目下展示的近期浏览的表、近期读取的表、热门浏览和热门读取等列表快速获取相应的表。或者在搜索框中输入关键字搜索目标表,详情请参见通用数据查询与管理

  • 您可以通过首页中的代码类目下展示的近期搜索的代码,或者在搜索框中输入关键字搜索目标代码,详情请参见通用数据查询与管理

image.png

在搜索页面查找

  • 您可以在搜索界面中的API类目下对当前租户下所有空间中的API,通过输入API名称、API描述等关键字进行搜索,同时支持通过API类型工作空间负责人对搜索结果进行过滤。找到符合条件的API。详情请参见数据服务API

  • 您可以在搜索界面中的类目下对各数据源中元数据采集后的表通过表名、表描述、字段名及字段描述进行搜索,不同数据源支持按照不同筛选条件进行过滤,例如MaxCompute支持根据项目、负责人、环境(生产或开发环境)、类目进行过滤。更多信息,请参见查找表

  • 您可以在搜索界面中的代码类目下选择产品模块、筛选条件,然后输入关键字进行搜索,详情请参见查找代码

全部数据

查看表详情和API详情

  • 您可以单击目标表名称跳转至表详情页面,查看表的基础信息产出信息血缘信息等信息。请参见查看表详情血缘信息

    说明

    血缘信息页面中您可以查看引擎节点内部血缘关系,具体引擎节点血缘支持情况以产品实际页面展示为准。此外,MaxCompute还支持基于离线同步的完整链路血缘查看。您可以查看MaxCompute表的上下游血缘,通过展开表血缘层级查看MaxCompute表的原始数据来源相关信息和MaxCompute表数据最终流向的数据库相关信息。

    表详情页面右上角支持通过表名,表描述,字段名,字段描述及项目名等关键字进行搜索。详情请参见查看表详情

  • 您可以单击目标代码文件查看代码详情。

  • 您可以单击目标API名称跳转至API详情页面,查看API的基础信息技术信息等信息。详情请参见查看API详情

    API详情页面右上角支持通过API IDAPI PathAPI名称API描述等关键字搜索API。

表的有序组织和管理

类目管理功能方便您通过类别有效地组织和管理表,表的类目管理配置完成后,您可以在查找表时,通过类目来过滤目标表。详情请参见配置管理,同时支持您管理表。

说明

阿里云主账号及拥有AliyunDataWorksfullaccess权限的RAM用户可以编辑类目树。

  • 类目管理

    您可以通过如下方法将表添加至类目中:

    1. 通过配置管理 > 类目导航配置批量将表添加到指定类目。

      类目导航配置完成后,您可以选中最后一级类目,并通过界面的快速添加入口,快速将表某个项目下的某些表批量添加至该类目中。详情请参见配置管理

    2. 通过我的数据页面批量将表添加到指定类目。

      类目配置完成后,您可以在我的数据(我拥有的数据、我管理的数据)页面批量将表添加到指定类目。详情请参见我的数据

  • 表管理

    对于MaxCompute数据类型,数据地图支持批量修改中文名,生命周期、支持批量删除开发表或者生产表,批量转交表责任人。详情请参见我的数据表管理

  • 个人收藏

    数据地图支持您将个人关注的表统一添加到个人收藏中进行管理,方便快速定位和查阅。您可以通过我的数据页面下的我的收藏分组中查看目前个人收藏的表。详情请参见我的数据

    • 将表添加入我的收藏

      您在查看表详情时,可以通过表详情页的收藏按钮,快速将表加入的我的收藏,详情请参见查看表详情,添加收藏后,您可以通过我的数据页面下的我的收藏分组中进行查看,详情请参见收藏表

    • 将表从我的收藏列表移除

      您可以通过下面两种方式取消收藏表,取消收藏后,将不会展示在我的数据页面下的我的收藏列表中。

      • 您可以通过我的数据页面下的我的收藏分组中对目前收藏的表取消收藏。

      • 您可以通过已收藏的表详情页面中的取消收藏入口,快速取消收藏该表。取消收藏

表权限管控

  • 表操作权限申请

    标准模式工作空间下,RAM用户默认无法通过SQL命令直接操作生产表,如果您需要操作生产表或跨账号查询生产表,需要进行权限申请,您可以在表详情页中的申请权限入口申请表的相关权限。当您在表详情页单击申请权限时,将跳转到安全中心进行具体的权限申请操作,详情请参见申请表权限申请权限

    说明

    如果RAM用户无某张表的查询权限,默认情况下将无法通过数据地图表详情页中的数据预览功能来查看该表数据。

  • MaxCompute表数据预览权限控制

    您可以在配置管理 > 项目管理配置中对具体工作空间的MaxCompute开发表或生产表开启预览权限,开启后,该项目下的表无需申请访问权限,即可被工作空间中所有成员预览。详情请参见项目管理配置

    说明
    • 此操作可能存在敏感数据泄露的风险,请谨慎评估后再开启

    • 所在工作空间的项目owner或者工作空间管理员可进行该操作。

    • 此权限仅控制数据地图中表详情页面的数据预览功能。数据预览

  • 隐藏表

    表隐藏后,搜索表时将无法搜索到该表。支持对所有人隐藏或者仅对表所在工作空间下用户可见。详情请参见我的数据

    • 单表隐藏

      您可以选择表状态为

      • 隐藏:所有人都不可以通过搜索来访问到该表。

      • 仅项目:仅对表所在工作空间下用户可见(可搜索到)。

      • 显示:所有人都可以通过搜索访问到该表。

      说明

      表owner和工作空间管理员默认不受上述权限控制。

      隐藏

    • 项目级别批量隐藏

      配置管理 > 项目管理配置中,选择项目空间,配置项目下所有表的隐藏属性。

      image

其他

  • 工作空间管理

    您可以进入搜索页面,并单击工作空间类型,查看当前阿里云主账号下的所有工作空间详情列表,单击目标工作空间名称可以查看工作空间的详细信息。详情请参见工作空间列表工作空间

  • 刷新表元数据

    如果表存在但是搜索不到或者表更新了但是数据地图显示还未更新,您需要刷新表元数据。

    • 在搜索结果页面单击刷新表元数据手工同步

    • 进入数据地图的我的数据 > 刷新表元数据页面:

      说明

      手动刷新表元数据仅对MaxCompute和E-MapReduce有效。

      • 如果数据类型MaxCompute,则输入格式为odps.项目名称.表名称表GUID后,单击刷新手工同步2

      • 如果数据类型E-MapReduce,则配置集群ID数据库表名后,单击刷新image

    完成上述操作后您可以在数据地图的全部数据中再次搜索关键词查询对应的表。