本文将为您概要介绍DataWorks主要子模块的功能及基本使用场景。
使用流程与主要子模块
DataWorks为您提供从端到端的一站式数据开发治理平台,数据处理流程主要包括以下几个阶段。
各个阶段DataWorks的主要子模块如下。
数据集成
子模块:数据集成
功能说明:
数据集成是稳定高效、弹性伸缩的数据同步平台,致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力,支持离线、实时、以及两者混合的同步方式,同时具备表级别粒度以及库级别粒度的同步控制,例如,全增量数据实时同步,整库离线同步等。
参考文档:数据集成概述
数据建模与开发
子模块:数据建模
功能说明:
数据建模是全链路数据治理的第一步,沉淀阿里巴巴数据中台建模方法论,从数仓规划、数据标准、维度建模、数据指标四个方面,以业务视角对业务的数据进行诠释,让企业内部实现“数同文”的快速理解与流通。
参考文档:DataWorks数据建模
子模块:数据开发(DataStudio)
功能说明:
数据开发(DataStudio)是一站式大数据开发平台,支持在线开发MaxCompute、EMR、Hologres、CDP、ADB等多种大数据引擎的数据处理任务。它集成了强大的任务调度能力,能够支持千万级的任务混合编排和调度。它还提供了一套任务发布的管控流程,保障任务产出的稳定性。
参考文档:数据开发概述
子模块:运维中心
功能说明:
运维中心是一站式大数据运维、监控平台,支持实时查看任务的运行状态,并为异常任务提供智能诊断、重跑等运维操作。它提供智能基线功能,帮助您解决重要任务产出时间不可控、海量任务监控难等问题,保障任务产出的时效性。
参考文档:运维中心概述
子模块:数据质量
功能说明:
数据质量针对数据研发的全链路,保障数据可用性。通过对数据质量规则的高效校验,以及与任务调度流程的紧密结合,可以帮助用户第一时间发现质量问题、有效防止数据质量问题扩散,为业务提供高效、可靠、可信赖的数据。
参考文档:数据质量概述
数据分析
子模块:数据分析
功能说明:
DataWorks数据分析可帮助您在线洞察分析、编辑和分享数据。包括SQL查询、电子表格等功能。
参考文档:数据分析概述
数据治理
子模块:数据地图
功能说明:
DataWorks数据地图提供了企业级数据管理平台,能够基于统一元数据的底层建设,提供数据对象的管理和盘点的能力,以及数据对象的快速查找和深度理解的能力。
参考文档:数据地图概述
子模块:安全中心
功能说明:
安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面,帮助用户落地数据安全治理事项。
参考文档:安全中心概述
子模块:数据治理中心
功能说明:
数据治理中心针对多个治理领域,通过数据领域规则沉淀、自动识别资产待优化问题项、覆盖事后及事前的治理优化策略等方式帮助用户主动式、体系化完成数据治理工作。
参考文档:数据治理中心概述
数据服务
子模块:数据服务
功能说明:
DataWorks数据服务旨在为企业提供全面的数据服务及共享能力,帮助企业统一管理面向内外部的API服务。
参考文档:数据服务概述
其他子模块
场景与子模块 | 功能说明 | 相关文档 |
数据安全-数据保护伞 | DataWorks数据保护伞为数据安全管理产品,为您提供数据发现、数据脱敏、数据水印、访问控制、风险识别、数据溯源等功能。 | |
流程管控与开放性-开放平台 | DataWorks开放平台是DataWorks对外提供数据和能力的开放通道。DataWorks开放平台提供开放API(OpenAPI)、开放事件(OpenEvent)、扩展程序(Extensions)的能力,可以帮助您快速实现各类应用系统对接DataWorks、方便快捷的进行数据流程管控、数据治理和运维,及时响应应用系统对接DataWorks的业务状态变化。 | |
任务备份、迁移-迁移助手 | DataWorks迁移助手支持将开源调度引擎的作业迁移至DataWorks,支持作业跨云、跨Region、跨账号迁移,实现DataWorks作业快速克隆部署,同时DataWorks团队联合大数据专家服务团队,上线迁云服务,帮助您快速实现数据与任务的上云。 |