大数据开发治理平台 DataWorks基于MaxCompute/EMR/Hologres等大数据计算引擎,为客户提供专业高效、安全可靠的一站式大数据开发与治理平台,自带阿里巴巴数据中台与数据治理最佳实践,赋能各行业数字化转型。每天阿里巴巴集团内部有数万名数据/算法工程师正在使用DataWorks,承担集团99%数据业务构建。
优点
-
可视化开发
拖拽式工作流开发、在线代码编辑调试,多人协作支持
-
丰富任务类型
支持 数据集成、MaxCompute SQL、MaxCompute MR、机器学习、Shell 多种任务类型
-
强大的调度
百万级任务并发支持,支持小时、天、周、月多种调度周期
-
任务监控报警
监控任务运行状态,出错可及时报警,避免业务故障
产品详情
-
最适合于大数据数仓建设的平台
阿里集团数据仓库必用平台,提供全面的数仓服务
数仓全链路的解决方案
DataWorks提供数据汇聚、数据处理、数据治理、数据服务全流程解决方案。涉及到产品包括:数据集成、数据开发、数据质量、数据保护伞、数据服务等。
开发/生产环境可隔离
提供开发/生产隔离的机制,开发项目中进行代码调试,发布到生产中保证业务稳定。从根本上保障了稳定性和安全性。
一站式平台
通过控制台一站式可以完成全部的开发、运维等全链路的操作。无需切换多个工具
安全可靠
提供租户级别基础安全机制。并且提供租户内的丰富的数据权限管理能力。
拖拽式工作流开发、在线代码编辑调试,多人协作支持 -
稳定高效的调度系统
支持百万级别任务稳定调度,保障业务稳定
稳定可靠
统一的数据任务调度平台,支持百万级任务的复杂调度,让数据加工更流畅。
可视化管理
提供DAG可视化操作界面。
多种调度周期支持
支持分钟、小时、天、周、月多种调度周期配置。
监控报警
调度任务支持多种报警方式,出错、指定时间未完成/已完成。
-
强大的多人协作开发能力
提供完善的权限、角色模型,可多人同时在线操作
用户角色可管理
提供管理员、开发、运维、访客 多种角色,降低管理成本。
多人协作开发
提供版本管理能力,提供锁机制。多人可协作开发代码。
-
基于MaxCompute强大的计算存储能力
MaxCompute提供EB级存储和计算能力
超大规模计算及存储
适用于100GB以上规模的存储及计算需求,最大可达EB级别。
高稳定性
在阿里巴巴集团内稳定运行达三年以上,支撑阿里巴巴集团几乎全部离线分析业务。每天支持10万以上的计算任务,处理上百PB的数据。
极大降低企业使用成本
与企业自建私有云相比,成本更低。更高效的计算及存储能力能够降低企业20%~30%的采购成本。
安全可靠
多层沙箱防护及监控系统有效保障用户数据安全。
-
大数据安全管理(数据保护伞)
大数据安全管理,提供数据资产识别、敏感数据发现、数据分类分级、脱敏、访问监控、风险发现预警与审计能力
敏感数据智能识别
基于自学习的模型算法,自动识别企业拥有的敏感数据,并以直观的形式展示具体类型、分布、数量等信息;同时支持自定义类型的数据识别
精准的数据分级分类
支持自定义分级信息功能,满足不同企业对数据等级管理需要
灵活的数据脱敏
提供丰富多样、可配置的数据脱敏方式,无论是存储环节的静态脱敏,还是使用环节的动态脱敏
用户异常操作风险监控和审计
利用多维度关联分析及算法,主动发现异常风险操作,提供预警以及可视化一站式审计