全部产品
Search
文档中心

大数据开发治理平台 DataWorks:功能发布记录

更新时间:Dec 13, 2024

本文为您介绍DataWorks产品功能和相应文档的发布动态。

2024年

2024-12

功能名称

描述

发布时间

发布地域

使用客户

相关文档

数据源

支持TiDB数据源

2024-12-4

所有地域

所有用户

TiDB数据源

2024-11

功能名称

描述

发布时间

发布地域

使用客户

相关文档

数据集成

支持ApsaraDB for OceanBase的OceanBase MySQL租户整库实时同步至MaxCompute。

2024-11-21

所有地域

所有用户

ApsaraDB for OceanBase整库实时同步至MaxCompute

数据地图

数据地图元数据采集支持采集并管理AnalyticDB for Spark元数据。

2024-11-21

所有地域

参加新版数据开发(Data Studio)公测的用户

元数据采集

数据地图

支持在数据地图的MaxCompute表详情页创建数据洞察,通过深度数据分析和解读来获取数据统计及分布情况。

2024-11-21

华东1(杭州)、华东2(上海)、华北2(北京)、华北3(张家口)、华北6(乌兰察布)和华南1(深圳)地域

所有用户

MaxCompute表数据

数据资产治理

数据治理中心升级为数据资产治理,可根据预先配置的治理计划,自动发现平台使用过程中数据存储、任务计算、代码开发、数据质量等维度存在的问题,通过健康分量化评估,从多个视角呈现治理成果,帮助您高效达成治理目标。同时,还提供业务资产管理、资产分析、任务资源消耗明细、费用预估等功能,帮助您有效掌握各类资源的使用详情。

2024-11-14

华东1(杭州)、华东2(上海)、华北2(北京)、华北3(张家口)、华南1(深圳)、西南1(成都)、中国香港、新加坡、马来西亚(吉隆坡)、印度尼西亚(雅加达)、德国(法兰克福)、美国(硅谷)、美国(弗吉尼亚)

所有用户

数据资产治理

计算资源

支持绑定AnalyticDB for Spark计算资源。

2024-11-05

所有地域

参加新版数据开发(Data Studio)公测的用户

绑定计算资源(参加新版数据开发公测)

个人开发环境连接Git

支持个人开发环境与Git仓库集成,便于代码版本管理和团队协作。

2024-11-04

所有地域

参加新版数据开发(Data Studio)公测的用户

个人开发环境连接Git仓库

2024-10

功能名称

描述

发布时间

发布地域

使用客户

相关文档

镜像管理

DataWorks支持将自定义镜像构建为持久化镜像,无需每次都重新部署镜像环境,每次运行任务节点时使用同一个镜像环境,不仅确保了运行环境的一致性,还有效节省了任务运行时间、计算成本和流量成本。

2024.10.18

华北2(北京)、华东2(上海)、华南1(深圳)、华东1(杭州)、中国香港、华北3(张家口)、新加坡、马来西亚(吉隆坡)、印度尼西亚(雅加达)、日本(东京)、德国(法兰克福)、英国(伦敦)、美国(硅谷)、美国(弗吉尼亚)

所有DataWorks用户

镜像管理

Serverless同步任务

数据集成新增Serverless同步任务类型,无资源组概念,您只需关注同步业务本身。

2024.10.12

华东1(杭州)、华东2(上海)、华北2(北京)、华北3(张家口)、华南1(深圳)、中国香港、英国(伦敦)、美国(硅谷)、美国(弗吉尼亚)、日本(东京)、德国(法兰克福)、马来西亚(吉隆坡)

所有DataWorks用户

Serverless同步任务配置

2024-09

功能名称

描述

发布时间

发布地域

使用客户

相关文档

实时同步任务

支持LogHub(SLS)单表实时入湖至Data Lake Formation 2.0,以Paimon格式写入表数据,支持中间做简单的数据处理。

2024.9.13

所有地域

所有DataWorks用户

LogHub(SLS)单表实时入湖至Data Lake Formation 2.0

实时同步任务

支持实时同步任务在运行中动态调整占用的资源大小,无需停止任务,可以设置调整计划,按时进行调整。

2024.9.13

所有地域

所有DataWorks用户

资源调优动态扩缩容条件说明

2024-08

功能名称

描述

发布时间

发布地域

使用客户

相关文档

实时同步任务

新增支持MySQL整库实时同步至SelectDB或Apache Doris。

2024.8.29

所有地域

所有DataWorks用户

MySQL整库实时同步至SelectDB

Hologres数据访问权限控制

DataWorks安全中心为您提供访问Hologres数据时的权限管控能力,包括设置授权身份、权限申请、权限审批,还支持您查看权限申请记录、权限审批记录。

2024.8.22

所有地域

所有DataWorks用户

Hologres数据访问权限控制

SQL查询结果导出为钉钉表格文档

DataWorks在进行SQL查询后,可直接通过钉钉应用,将查询结果以钉钉文档的形式导出在钉钉内,避免了将查询数据下载为Excel文件带来的数据安全问题。

2024.8.14

华北3(张家口)

西南1(成都)

所有DataWorks用户

SQL查询结果导出为钉钉表格文档

降低修改MaxCompute数据源默认访问身份的权限要求

当MaxCompute数据源的默认访问身份为其他RAM子账号时,由“需拥有RAM的AdministratorAccess权限”调整为“需拥有MaxCompute项目的admin或super_administrator权限”。

2024.8.8

所有地域

所有DataWorks用户

创建MaxCompute数据源

企业版已支持云SSO功能

DataWorks企业版支持云SSO。通过阿里云的云SSO,您可以使用第三方或自建IdP(Identity Provider)登录阿里云使用DataWorks。

2024.8.8

所有地域

所有DataWorks用户

DataWorks各版本详解

2024-07

功能名称

描述

发布时间

发布地域

使用客户

相关文档

RAM权限策略更新

AliyunDataWorksReadOnlyAccess增加dataworks:ListUserResources权限(即可查看用户拥有的资源信息)。

2024.7.10

所有地域

所有DataWorks用户

注册E-MapReduce集群功能更新

在DataWorks注册E-MapReduce集群新增如下功能:

  • 支持自定义集群的Kyuubi连接信息。

  • 支持注册EMR Serverless Spark类型集群。

2024.7.10

目前仅华北3(张家口)地域支持使用EMR Serverless Spark。

所有DataWorks用户

数据开发新增节点

数据开发新增CDH Spark SQL节点,该节点可进行CDH Spark SQL任务的开发和周期性调度,以及与其他作业的集成操作。

2024.7.10

所有地域

所有DataWorks用户

CDH Spark SQL节点

2024-06

功能名称

描述

发布时间

发布地域

使用客户

相关文档

数据集成新增同步链路

数据集成支持将MySQL数据通过整库离线同步或整库实时同步方式同步至StarRocks。

2024.06.28

所有地域

所有DataWorks用户

数据开发支持数据推送节点

数据推送节点支持您在业务流程中,先通过上游数据加工和数据处理任务来产出数据表;然后在下游挂载数据推送节点,将上游产出的数据结果通过消息卡片的方式定时推送至钉钉群或飞书群。

说明

使用数据推送节点,请提交工单联系技术支持人员升级调度资源组。

2024.6.28

  • 华东1(杭州)

  • 华东2(上海)

  • 华北2(北京)

  • 华南1(深圳)

  • 西南1(成都)

  • 中国香港

  • 新加坡

  • 马来西亚(吉隆坡)

  • 美国(硅谷)

  • 美国(弗吉尼亚)

  • 德国(法兰克福)

所有DataWorks用户

最佳实践:数据开发工作流中配置数据推送节点

DataWorks Serverless资源组上线

为加强DataWorks功能间的资源管理并统一用户体验,DataWorks推出的Serverless资源组涵盖了原独享调度资源组、独享数据集成资源组、独享数据服务资源组的核心功能,通过一个资源组即可完成数据同步、任务调度运行、调用及管理API服务等操作。

2024.6.11

  • 华北2(北京)

  • 华东2(上海)

  • 华南1(深圳)

  • 华东1(杭州)

  • 中国香港

  • 华北3(张家口)

  • 新加坡

  • 马来西亚(吉隆坡)

  • 印度尼西亚(雅加达)

  • 日本(东京)

  • 德国(法兰克福)

  • 英国(伦敦)

  • 美国(硅谷)

  • 美国(弗吉尼亚)

所有DataWorks用户

新增“基于Lindorm计算引擎进行任务开发”最佳实践

Lindorm计算引擎兼容CDH(Cloudera's Distribution Including Apache Hadoop)。您可在DataWorks上通过注册CDH集群并配置Lindorm计算引擎连接信息的方式,在DataWorks上基于Lindorm计算引擎进行交互式SQL查询、SQL任务开发、JAR任务执行等。

2024.6.5

所有地域

所有DataWorks用户

基于Lindorm计算引擎进行任务开发

数据集成新增数据源

数据集成新增支持Azure Blob Storage数据源。

2024.6.3

所有地域

所有DataWorks用户

Azure Blob Storage数据源

2024-05

功能名称

描述

发布时间

发布地域

使用客户

相关文档

MySQL数据源支持OSS Binlog

数据集成MySQL数据源新增支持OSS Binlog。

在添加MySQL数据源时,如果配置模式阿里云实例模式,且RDS MySQL实例地域与DataWorks项目空间在同一地域,您可以开启支持OSS binlog读取,开启后,在无法访问RDS binlog时,将会尝试从OSS获取binlog,以避免实时同步任务中断。

2024.5.24

所有地域

所有DataWorks用户

MySQL数据源

数据质量模块改版

数据质量改版,基于质量监控,结合具体的监控规则,对表的具体数据范围进行规则校验,优化数据质量监控流程。

2024.5.21

新版数据质量正在逐步上线中,具体支持地域请以实际控制台为准,如果您的业务所在地域暂时无法使用新版数据质量的相关功能,请参见旧版数据质量文档。

所有DataWorks用户

新版数据质量

数据集成新增同步链路

数据集成支持将Hologres数据通过整库离线同步方式同步至其他Hologres。

2024.5.20

所有地域

所有DataWorks用户

Hologres整库数据离线同步至Hologres

DataWorks支持远程触发服务器脚本执行

DataWorks的SSH节点可通过指定SSH数据源的方式,在DataWorks远程访问该数据源连接的主机,并触发脚本在远程主机执行。

2024.5.15

所有地域

所有DataWorks用户

数据开发新增EMR Kyuubi节点

DataWorks的EMR Kyuubi节点可进行Kyuubi任务的开发和周期性调度,以及与其他作业的集成操作。

2024.5.11

所有地域

所有DataWorks用户

EMR Kyuubi节点

数据开发新增多种数据库类型节点

DataWorks的数据开发支持DRDS、PolarDB MySQL、Doris等多种类型的数据库节点,您可基于该类节点执行相关任务的开发和周期性调度,以及与其他作业的集成操作。

2024.5.11

所有地域

所有DataWorks用户

2024-04

功能名称

描述

发布时间

发布地域

使用客户

相关文档

PostgreSQL数据源配置支持SSL认证

数据集成添加PostgreSQL数据源时支持配置SSL认证。

2024.4.26

所有地域

所有DataWorks用户

PostgreSQL数据源

数据治理中心支持Hologres数据源

数据治理中心新增支持Hologres数据源。

如需在数据治理中心中使用Hologres数据源,请先在数据地图中采集Hologres元数据。具体操作,请参见元数据采集

2024.4.24

当前仅华北2(北京)、华东2(上海)、华东1(杭州)和华南1(深圳)地域的数据治理中心支持Hologres数据源。

所有DataWorks用户

数据治理中心概述

数据治理中心新增物化视图功能

当您在面对大数据计算任务频繁且存在大量相似子查询场景时,DataWorks支持自动化治理,智能推荐物化视图,为您提供了一种智能化、自动化的解决方案。当您启用此功能时,DataWorks能够自动识别和分类MaxCompute中的相似子查询,并生成物化视图推荐,您可以按需一键生成物化视图,从而显著提升计算效率和节省计算资源。

2024.4.12

所有地域

所有DataWorks用户

自动化治理-物化视图

DataWorks on CDH/CDP支持OPEN LDAP认证

在DataWorks注册CDH/CDP集群时,支持自定义阿里云账号与CDH/CDP集群OPEN LDAP账号的映射关系。映射后,使用阿里云账号在DataWorks提交运行的CDH/CDP任务,实际由映射的OPEN LDAP账号执行。该方式用于对不同云账号在CDH集群内可访问的数据进行权限隔离。

2024.4.8

华北2(北京)、华东2(上海)、华东1(杭州)、华南1(深圳)、华北3(张家口)、西南1(成都)

所有DataWorks用户

设置集群身份映射

2024-03

功能名称

描述

发布时间

发布地域

使用客户

相关文档

新版补数据功能上线

周期任务开发完成并提交发布后会按照调度配置定时运行,若您希望在指定时间段运行周期任务,可使用补数据功能。补数据可通过补历史或未来一段时间的数据,将数据写入至对应时间分区。新版补数据支持的补数据方式如下:

2024.3.28

所有地域

所有DataWorks用户

执行补数据并查看补数据实例(新版)

开放平台支持通过函数计算开发部署扩展程序

在DataWorks的扩展程序中,您可自定义事件消息的卡点逻辑,监管用户的操作行为(例如,拦截和阻断不当行为)。通过函数计算开发部署扩展程序,特定事件消息后续将直接下发至相应函数计算服务。该方式:

  • 操作简单,仅需一个函数即可完成扩展程序的部署。

  • 会产生相应的函数计算费用,详情请参见计费概述

  • 部署的扩展程序目前仅支持处理数据下载前置事件。

2024.3.19

  • 华北2(北京)

  • 华东1(杭州)

  • 华东2(上海)

  • 华北3(张家口)

  • 华南1(深圳)

  • 西南1(成都)

  • 美国(硅谷)

  • 美国(弗吉尼亚)

  • 德国(法兰克福)

  • 日本(东京)

  • 中国香港

  • 新加坡

DataWorks企业版用户

开发部署扩展程序:函数计算方式

数据建模支持自定义模型的发布策略

数据建模支持自定义模型的发布策略。策略启用后,发布模型时可根据策略配置选择相应的发布模式。

2024.3.12

所有地域

购买智能数据建模产品的DataWorks用户

发布策略管理

2024-02

功能名称

描述

发布时间

发布地域

使用客户

相关文档

新增在DataWorks使用 CDP/CDH的相关介绍

为您介绍在DataWorks上使用CDP/CDH的基本开发流程,以及相关费用说明、环境准备、权限控制等内容。

2024.2.21

所有地域

所有DataWorks用户

DataWorks On CDP/CDH使用说明

数据服务支持实例模式的StarRocks数据源

开通E-MapReduce Serverless StarRocks集群后,您可在DataWorks中通过实例模式新增StarRocks数据源,DataWorks数据服务支持面向StarRocks数据源快速封装数据API,实现数据共享与开放。

2024.2.20

所有地域

所有DataWorks用户

数据服务配置数据源

数据地图新增数据开发代码搜索

DataWorks数据地图新增数据开发代码搜索功能,支持跨工作空间全局代码检索,通过关键字精确定位目标代码,帮助您提升开发效率、减少工程冗余。

2024.2.20

所有地域

DataWorks标准版及以上版本用户

查找代码

新增数据上传与下载功能

DataWorks的数据上传与下载功能支持将本地CSV文件、OSS文件数据上传至MaxCompute进行处理及分析。同时,也可管理上传的文件列表和DataWorks数据分析等模块下载的文件列表,方便您管理和操作数据。

2024.2.20

所有地域

所有DataWorks用户

数据开发新增CDH集群节点

您可在DataWorks上进行CDH相关的Hive、Spark、MR、Presto、Impala等任务的开发和周期性调度。

2024.2.19

所有地域

所有DataWorks用户

数据保护伞新版系统配置页面发布上线

您可通过系统配置:

  • 设置数据保护伞的识别内容、识别范围。

  • 设置水印文件保存时间。

  • 设置是否展示风险识别的数据安全等级。

  • 设置告警信息的接收邮件及WebHook地址。

以便及时发现并处理潜在安全风险。

2024.2.6

所有地域

所有DataWorks用户

系统配置

2024-01

功能名称

功能描述

发布时间

发布地域

使用客户

相关文档

数据开发与数据分析的查询结果支持脱敏展示

数据保护伞支持对E-MapReduce表数据进行分类分级、敏感数据识别、数据脱敏展示。

您在数据开发和数据分析中执行SQL语句查询数据时,若该数据被识别为敏感数据,平台将会按照脱敏规则进行遮盖、加密等模式的脱敏展示,加强企业数据安全管控。

2024.1.25

所有地域

所有DataWorks用户

数据地图支持展示实时同步链路数据血缘

数据地图新增解析及展示如下实时同步链路的数据血缘:

  • MySQL实时写入MaxCompute/Hologres

  • Kafka实时写入MaxCompute/Hologres

  • Loghub实时写入MaxCompute/Hologres

  • PolarDB实时写入MaxCompute

通过实时同步血缘和离线同步血缘的组合分析,帮助您更全面地了解数据流转情况。

2024.1.15

所有地域

所有DataWorks用户

血缘查看

2023年

2023-12

功能名称

功能描述

发布时间

发布地域

使用客户

相关文档

数据开发(DataStudio)绑定数据源

若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务,需先将已创建的数据源或集群绑定至数据开发(DataStudio)模块。绑定后,才可读取数据源或集群中的数据,并进行相关开发操作。

2023.12.29

所有地域

所有DataWorks用户

开发前准备:绑定数据源或集群

新版数据源发布

为给您带来更统一的产品使用体验,DataWorks将MaxCompute、Hologres、AnalyticDB for PostgreSQL、AnalyticDB for MySQL、ClickHouse计算引擎合并至数据源管理;将E-MapReduce(简称EMR)、CDH/CDP引擎合并至开源集群管理。合并后,原计算引擎的相关操作(例如,创建、编辑)将通过数据源/开源集群界面执行。

2023.12.29

所有地域

所有DataWorks用户

新增扩展点事件

  • DeleteProject:删除项目空间前置事件。

  • ProjectDeleted:删除项目空间后置事件。

  • DownloadResources:数据下载事件。

2023.12.27

所有地域

所有DataWorks用户

新增扩展点应用范围

扩展点事件新增应用范围:

  • 租户级:租户级事件对整个租户均生效。

  • 空间级:空间级事件仅对目标工作空间生效。

注册扩展程序时,仅支持选择某一类型的扩展点事件。

2023.12.22

  • 华北2(北京)

  • 华东1(杭州)

  • 华东2(上海)

  • 华北3(张家口)

  • 华南1(深圳)

  • 西南1(成都)

  • 美国(硅谷)

  • 美国(弗吉尼亚)

  • 德国(法兰克福)

  • 日本(东京)

  • 中国香港

  • 新加坡地域

所有DataWorks用户

数据治理中心新增SQL效率优化检查项

数据治理中心新增对ODPS、Hive、Spark SQL的笛卡尔积检查、无效全表JOIN检查、暴力扫描等5项检查项,帮助您在研发环节进行事前主动检查和及时优化,提升计算效率,避免出现大量计算资源浪费,保障数据产出时效性。

2023.12.22

所有地域

所有DataWorks用户

配置检查项

新增适配StarRocks数据源

DataWorks全面适配StarRocks数据源:

  • 数据集成:支持同步StarRocks数据。

  • 数据开发:支持创建StarRocks任务并周期性调度。

  • 数据分析:支持查询并分析StarRocks数据。

  • 数据服务:支持将StarRocks数据表封装为API。

  • 数据地图:支持纳管StarRocks元数据并进行搜索展示。

2023.12.15

所有地域

所有DataWorks用户

新增适配多个E-MapReduce Hadoop集群版本

DataWorks新增适配十余种E-MapReduce Hadoop集群版本,包括:

  • EMR-3.26.3

  • EMR-3.27.2

  • EMR-3.29.0

  • EMR-3.32.0

  • EMR-3.35.0

  • EMR-3.38.2

  • EMR-3.38.3

  • EMR-4.3.0

  • EMR-4.4.1

  • EMR-4.5.0

  • EMR-4.5.1

  • EMR-4.6.0

  • EMR-4.8.0

  • EMR-4.9.0

  • EMR-5.2.1

  • EMR-5.4.3

  • EMR-5.6.0

2023.12.15

所有地域

所有DataWorks用户

DataWorks On EMR使用说明

数据开发Check节点新增检查对象

Check节点可用于检查目标对象(MaxCompute分区表、FTP文件或OSS文件)是否可用,当满足检查策略后Check节点会返回运行成功状态。

若某任务的运行依赖目标对象,可使用Check节点检查目标对象,并设置该任务为Check节点的下游任务,满足检查策略后,Check节点便会运行成功并触发下游任务执行。

2023.12.08

所有地域

所有DataWorks用户

Check节点

数据开发新增PAI DLC节点

您可通过PAI DLC节点周期性调度运行PAI DLC任务。

2023.12.08

所有地域

所有DataWorks用户

创建并使用PAI DLC节点

安全中心增加实时风险识别规则

安全中心支持管理员将风险识别能力以扩展程序的方式注册至DataWorks,作为风险识别规则,用于识别操作行为中的风险。

当前已支持对数据下载操作行为通过预设/自定义扩展程序识别风险,并按需申请下载或阻断下载行为。

2023.12.08

所有地域

所有DataWorks用户

风险识别规则

2023-11

功能名称

功能描述

发布时间

发布地域

使用客户

相关文档

数据开发(DataStudio)新增Check节点

DataWorks的Check节点可检查MaxCompute分区表是否已可用(即目标分区存在或已判断分区数据写入完成)。当下游任务需依赖该MaxCompute分区表时,您可使用此功能先检查分区数据是否可用,避免操作的数据有误。

2023.11.20

  • 西南1(成都)

  • 华北3(张家口)

  • 华北2(北京)

  • 华东2(上海)

  • 马来西亚(吉隆坡)

所有DataWorks用户

Check节点

2023-08

功能名称

功能描述

发布时间

发布地域

使用客户

相关文档

DataWorks支持自定义调度周期

基于DataWorks原有调度周期,新增调度日历,支持用户在日历上标记调度策略为调度日或非调度日,达到自定义调度周期的效果。

2023.08.24

所有地域

DataWorks企业版本用户

配置调度日历

数据治理中心支持E-MapReduce数据湖研发治理

DataWorks数据治理中心新增基于E-MapReduce集群+DLF+DataWorks数据湖开发链路的主动治理分析,包括:

  • 支持治理健康分评估。

  • 支持研发及存储维度治理项问题自动发现。

  • 支持基于Hive SQL与Spark SQL的事前问题检查预防。

2023.08.24

  • 华北2(北京政务云)

  • 华东2(上海金融云)

  • 华东2(上海)

  • 华东1(杭州)

  • 华北2(北京)

  • 华南1(深圳)

  • 西南1(成都)

  • 中国香港

  • 新加坡

  • 美国(硅谷)

  • 德国(法兰克福)

  • 印度尼西亚(雅加达)

DataWorks企业版及以上版本用户

数据治理中心概述

2023-06

功能名称

功能描述

发布时间

发布地域

使用客户

相关文档

Kafka数据源实时同步Hologres并进行ETL

  • Kafka数据源至Hologres的实时同步可以实现同步过程中对于Kafka的JSON含义解析,以及其他基本的数据处理,实现实时同步的ETL流程。

  • 支持指定JSON路径的Key及Value获取,也支持动态的Key及Value扩展,适合Kafka源端消息格式存在变化的场景。

  • 支持任务配置过程中的模拟运行,提前获知写入结果的数据处理正确与否。

2023.06.01

所有地域

DataWorks所有用户

Kafka数据源

MySQL整库实时同步至OSS数据湖,写为Hudi格式

MySQL整库实时同步至OSS数据湖,写为Hudi格式。

  • 支持自动对接阿里云DLF,生成元数据用于管理。

  • 支持实例级别的同步,即源端MySQL可以同时选择多个库。

  • 支持按照正则表达式选定来源MySQL库和表。

  • 支持自动加库加表,即MySQL数据源增加库、表后,可以自动同步至OSS,无需手工干预和操作。

2023.06.01

所有地域

所有DataWorks用户

OSS数据源

数据集成支持AWS RDS数据源

将AWS RDS按照MySQL数据源方式进行配置,MySQL数据源自身具备的所有能力,AWS RDS也同样适用。

2023.06.01

所有地域

所有DataWorks用户

MySQL数据源

2023-04

功能名称

功能描述

发布时间

发布地域

使用客户

相关文档

数据分析结果直接保存为MaxCompute表

数据分析结果无需通过代码创建表,可以直接保存为MaxCompute表,进行后续查询或联合分析。

2023.4.20

所有地域

所有DataWorks用户

查询结果操作

数据分析支持查询结果百万级数据下载

数据分析SQL查询下载条数默认1万条,对于DataWorks标准版、专业版、企业版、旗舰版,管理员可在安全中心设置的最大下载条数分别为标准版(20万)、专业版(200万)、企业版(500万)、旗舰版(500万)。同时,也可以关闭下载功能。

2023.4.18

所有地域

所有DataWorks用户

SQL查询

大数据公共数据集上线

基于大数据AI公共数据集(淘宝、飞猪、阿里音乐、GitHub、TPC等),通过DataWorks与MaxCompute快速完成TB级别大数据分析。

2023.4.11

所有地域

所有DataWorks用户

SQL查询

2023-03

功能名称

功能描述

发布时间

发布地域

使用客户

相关文档

数据治理中心支持使用消息通知治理问题

管理员及个人用户,可将治理工作台中每日治理的待解决问题,以消息通知的形式,通过系统提示、邮件、钉钉群、Webhook等方式发送给指定对象。方便治理责任人及时了解最新待治理问题进展并快速进入系统处理。

2023.3.15

所有地域

所有DataWorks用户

配置消息通知

数据治理中心新增存储长生命周期治理项

存储长生命周期治理项可帮助用户对MaxCompute分区表合理设置生命周期,减少存储资源的浪费。

2023.3.15

所有地域

所有DataWorks用户

处理治理项问题

数据服务的加速服务启动商业化

加速服务面向MaxCompute数据源生成在线API服务,无需导出MaxCompute数据,即可提供良好的查询性能与效率,满足在线查询需求。

2023.3.1

华东2(上海)、华北2(北京)、华东1(杭州)、华南1(深圳)地域。

所有DataWorks用户

加速服务

2023-01

功能名称

功能描述

发布时间

发布地域

使用客户

相关文档

DataWorks新增已购资源进行商品管理

新增功能如下:

DataWorks支持展示您当前所有已购买且未释放的下属商品,方便您快速进行升降规格、退费、续费等操作。

2023.1.11

所有地域

所有DataWorks用户

计费简介

DataWorks数据治理中心新增任务批量优雅下线

新增功能如下:

  • 提供面向场景的专项治理计划,主要针对无效或重复任务需要批量安全下线的场景。

  • 提供优雅下线治理计划。治理负责人通过圈定治理对象,快速进行影响人员、影响资产的确认。

  • 提供分步骤执行,协同式完成各节点的暂停、延迟、下线及阶段状态通知,有序平稳地完成任务下线。

2023.1.9

所有地域

所有DataWorks用户

优雅下线

DataStudio简单模式支持代码评审

新增功能如下:

简单模式支持代码评审。开启强制代码评审,评审通过后节点任务才会在生产环境生效。

2023.1.5

所有地域

所有DataWorks用户

代码评审

2022年

2022-11

功能名称

功能描述

发布时间

发布地域

使用客户

相关文档

DataWorks数据服务支持面向开发和生产环境数据源封装API

DataWorks在标准模式的工作空间下,新增如下功能:

  • 支持根据自行选择数据源的环境类型(开发环境或生产环境),设置API的高级参数。

  • 实现使用开发环境数据库进行测试、使用生产环境数据库进行接口发布的需求。

2022.11.29

所有地域

所有DataWorks用户

通过向导模式生成API

DataWorks数据地图支持申请Hive表权限

DataWorks数据地图 > EMR Hive表详情页面,新增申请权限按钮,支持跳转至安全中心进行表权限的申请。

2022.11.29

所有地域

所有DataWorks用户

哪些类型的Hive表支持在数据地图中预览?

DataWorks数据地图新增数据专辑功能

DataWorks数据地图新增数据专辑页面,功能如下:

  • 支持按照业务视角来进行数据表的分类、分级组织和管理。

  • 支持将常用表、团队表、热门表等加入目标专辑中进行收纳,实现快速、便捷地检索和定位。

2022.11.16

所有地域

所有DataWorks用户

业务视角管理:数据专辑

DataWorks数据分析新版升级,全新的SQL查询体验

DataWorks数据分析,新增功能如下:

  • 支持用户统一管理个人名下的所有SQL文件及辅助取数工作常用的数据表集合。

  • 支持有权限的用户通过SQL语句进行业务数据提取。

  • 支持对SQL查询结果进行二次加工及可视化图表展示。

2022.11.15

全部地域

所有DataWorks用户

SQL查询

DataWorks数据服务支持解析高级SQL中的请求参数和返回参数

在数据服务中,新增如下功能:

  • 支持通过高级脚本模式创建API时,在右侧导航栏的请求参数返回参数的面板中进行一键参数解析。

  • 减少手动录入参数的负担。

2022.11.10

全部地域

所有DataWorks用户

2022-10

功能名称

功能描述

发布时间

发布地域

使用客户

相关文档

DataWorks智能数据建模支持E-MapReduce Hive,建模能力对齐MaxCompute

DataWorks智能数据建模 > 维度建模新增如下两种功能:

  • 支持将模型发布至E-MapReduce Hive,并能生成相应的ETL框架代码。

  • 支持将已存在的E-MapReduce Hive物理表逆向生成模型。

2022.11.25

全部地域

所有DataWorks用户

DataWorks智能数据建模支持对模型进行版本管理

DataWorks智能数据建模 > 维度建模新增如下两种功能:

  • 支持对模型进行版本管理,只有正式提交的模型才能进行发布等操作。

  • 支持对同一个模型的不同版本进行版本对比及回滚操作。

2022.11.25

全部地域

所有DataWorks用户

发布模型至引擎

DataWorks数据服务API详情页面新增展示各域名的调用地址

在API详情页面会展示当前API基于公网域名、VPC域名、独立域名分别生成的调用地址,您可灵活选用不同的域名进行API调用。

2022.10.21

全部地域

所有DataWorks用户

查看API详情

DataWorks数据地图血缘大图全新升级

新版数据血缘信息为您提供更好的血缘分析体验。在血缘信息详情页面,您可以执行如下操作:

  • 可查看表或表字段的上下游节点。

  • 查看表原始数据来源及表数据最终流向。

  • 进行不同层级血缘的影响分析。

2022.10.21

全部地域

所有DataWorks用户

查看表详情

DataWorks数据治理中心新增支持4种研发维检查项

DataWorks数据治理中心新增4种检查项:

  • JOIN关联条件类型一致性。

  • 部分资产禁止使用。

  • 同名UDF使用。

  • 开发环境写入限制。

主要功能如下:

  • 管控检查能力。

    您可在配置管理中开启并配置新增检查项,查看治理知识库使用详情。

  • 在数据开发任务提交及发布时,进行主动式研发数据治理。

2022.10.20

全部地域

所有DataWorks用户

配置检查项

DataStudio简单模式支持代码评审

简单模式开启强制代码评审,完成评审后,该代码才会在生产环境生效。

2022.9.22

全部地域

所有DataWorks用户

代码评审

2022-8

功能名称

功能描述

发布时间

发布地域

使用客户

相关文档

运维中心新增业务流程视角的任务管理

DataWorks运维中心支持使用业务流程视角查看任务的运行情况,并执行重跑、冻结、终止运行等业务流程运维操作。

2022.8.22

全部地域

所有DataWorks用户

业务流程视角

数据服务新增面向MaxCompute数据源的加速查询

DataWorks数据服务支持面向MaxCompute数据源生成在线API,无需导出MaxCompute数据,即可提供良好的查询性能与效率,满足在线查询需求。其加速方案包括:

  • 基于Hologres外部表的加速服务。

  • 基于MCQA的加速服务。

2022.8.17

华东2(上海),华南1(深圳)

所有DataWorks用户

加速服务

数据服务新增智能诊断及分析调用链路

DataWorks数据服务支持对API调用日志进行分析。您可使用该功能分析单条调用请求的链路,及时发现异常请求,快速定位问题并给出诊断结果及建议。

2022.8.7

全部地域

DataWorks用户

查看与分析API调用日志(公测)

数据地图新增项目、表级别的细粒度权限管控

DataWorks数据地图可通过多样化配置实现不同粒度的元数据权限管控,包括:

  • 是否允许其他项目成员在数据地图查看当前项目的元数据。

  • 是否允许非项目成员、非表负责人和空间管理员在数据地图查看表元数据。

2022.8.5

全部地域

DataWorks用户

附录:数据地图权限管控能力总览

数据集成支持使用向导模式离线同步达梦数据库

DataWorks数据集成支持使用可视化向导模式离线同步达梦数据库的数据,该方式相较脚本模式更易操作。

2022.8.2

全部地域

DataWorks用户

通过向导模式配置离线同步任务

2022-7

功能名称

功能描述

发布时间

发布地域

使用客户

相关文档

DataWorks智能数据建模支持维度建模

DataWorks智能数据建模支持以下功能:

  • 您可以在模板设计中直接引用Hologres中已存在的表或视图的字段,及分区信息作为当前模型的字段。

  • 您可以在模板设计中对字段显示名为空或描述为空的字段进行一键填充。

    大多数情况下,物理表有字段描述。如果无字段显示名,通过该功能可快速补充字段显示名信息,提升建模效率。

  • 您可以在模板开发中新建DataStudio节点或绑定DataStudio已有节点,提升模型的ETL研发效率。

2022.7.29

华东1(杭州),华东2(上海),华北2(北京),华北3(张家口),华南1(深圳),西南1(成都),中国香港, 新加坡,上海金融云,深圳金融云,北京政务云,德国(法兰克福),美国(硅谷)

所有DataWorks用户

DataWorks智能数据建模支持查看关联表信息

您可以打开派生指标或原子指标的编辑页面,在右侧导航栏中查看当前指标所关联的模型表名称及字段名称,且支持跳转至目标表编辑页面管理关联关系。

2022.7.29

所有DataWorks用户

派生指标

智能数据建模支持设置模型及指标的命名规则检查器

在数仓规划的数仓分层下,您可以设置模型或指标类型的命名检查器。当您在设计模型和指标时,命名检查器能够对实体名称进行约束和校验,从而提升整个开发流程中的命名规范性。

命名规则:

  • 规则强弱:强规则代表对名称的推荐填写及强制检查,弱规则代表对名称的推荐填写。

  • 规则定义:基于多元素对名称的组织顺序和构成进行设置。

2022.7.29

所有DataWorks用户

配置及使用数仓分层检查器

DataWorks数据分析支持针对设置独享资源组

支持主账号在“系统设置”中设置数据分析。您可以在指定独享资源组下进行Sql查询。

2022.7.29

华东1(杭州),华东2(上海),华北2(北京),华北3(张家口),华南1(深圳),西南1(成都),德国(法兰克福)

所有DataWorks用户

系统管理

数据集成DataStudio智能

支持Postgres数据库,SSL认证时支持.crt.key双文件方式*。

2022.7.26

华东1(杭州),华东2(上海),华北2(北京),华北3(张家口),华南1(深圳),西南1(成都),中国香港,日本(东京),新加坡,马来西亚(吉隆坡),印度尼西亚(雅加达),德国(法兰克福),英国(伦敦),美国(硅谷),美国(弗吉尼亚),阿联酋(迪拜)

所有DataWorks用户

数据集成概述

DataWorks支持EMR新版数据湖DataLake

DataWorks支持基于EMR计算引擎新版数据湖DataLake,实现基于EMR引擎的数据集成、数据建模、数据开发调度、数据质量、数据地图、数据安全、数据分析(独享资源组)、数据服务等数据全周期能力。

2022.7.8

西南1(成都), 华北3(张家口),华南1(深圳),美国(硅谷),华北2(北京),华东2(上海),日本(东京),德国(法兰克福),美国(弗吉尼亚),印度尼西亚(雅加达),英国(伦敦),华东1(杭州),新加坡,中国香港,马来西亚(吉隆坡)、阿联酋(迪拜)

所有DataWorks用户

DataWorks On EMR使用说明

DataStudio智能编辑器支持可视化插入字段和表权限校验

  • 智能编辑器自动识别代码中查询表字段的部分,您可以把鼠标悬浮在表名上,选择需要查询的字段后,单击确认。即可将字段名自动插入到代码中。

  • 智能编辑器提供对表权限的校验,您可以根据提示直接申请权限。

2022.7.2

华东1(杭州),华东2(上海),华北2(北京),华北3(张家口),华南1(深圳),西南1(成都),中国香港

所有DataWorks用户

数据开发概述

2022-6

功能名称

功能描述

发布时间

发布地域

使用客户

相关文档

数据治理中心全面开放使用

数据治理中心功能如下:

  • 通过从存储、计算、开发、质量和安全五个维度量化评估治理健康分,可自动发现和预防各类数据治理问题。

  • 提供任务资源消耗明细、资源消耗整体趋势、单任务费用预估等丰富功能,可帮助您对各类资源使用费用进行有效的优化控制。

说明
  • 数据治理中心在2022年7月5日全面开放使用,提供为期1个月的限时体验。

  • 2022年8月5日后,所有能力将在DataWorks企业版中提供。

2022.6.27

华东1(杭州),华东2(上海),华北2(北京),华南1(深圳),西南1(成都),新加坡,美国(硅谷)

所有DataWorks用户

数据治理中心概述

数据治理中心支持任务360功能

提供任务的360全景功能,将任务关联的治理项问题、变更事件记录、影响基线、任务执行信息等关键信息进行集中展示,方便您根据信息进行调度任务治理。

2022.6.24

华东1(杭州),华东2(上海),华北2(北京),华南1(深圳),西南1(成都),新加坡,美国(硅谷)

所有DataWorks用户

全景查看任务

智能数据建模支持查找视图及创建视图

  • 您可以在模型设计过程中直接引用已存在的视图字段及分区信息作为当前模型的字段。

  • 您可以在模型设计完成后将模型物化为视图。

2022.6.22

华东1(杭州),华东2(上海),华北2(北京),华北3(张家口),华南1(深圳),西南1(成都),中国香港,新加坡,美国(硅谷),德国(法兰克福),华东2(上海)金融云,华南1(深圳)金融云,华北2(政务云)

所有DataWorks用户

发布模型至引擎

智能数据建模支持表名关键词逆向生成模型

您可以在逆向建模过程中,根据表名关键词模糊匹配,逆向生成逻辑模型。

2022.6.19

华东1(杭州),华东2(上海),华北2(北京),华北3(张家口),华南1(深圳),西南1(成都),中国香港,新加坡,美国(硅谷),德国(法兰克福),华东2(上海)金融云,华南1(深圳)金融云,华北2(政务云)

所有DataWorks用户

逆向建模:物理表反向建模

审批中心支持管控数据集成

为保障您的数据传输安全,审批中心为您提供基于源端、目的端的组合定义在保存或数据集成任务时必须触发审批,针对数据同步过程进行更加灵活的管控。

2022.6.15

华东1(杭州),华东2(上海),华北2(北京),华北3(张家口),华南1(深圳),西南1(成都),中国香港,新加坡,印度尼西亚(雅加达),马来西亚(吉隆坡),美国(硅谷),美国(弗吉尼亚),德国(法兰克福) 。

所有DataWorks用户

数据集成审批策略

数据保护伞新增敏感数据血缘可视化图谱

新增敏感数据血缘可视化图谱,功能如下:

  • 基于数据的生产信息解析出敏感字段之间的血缘关系,将其中敏感字段类型相同的血缘关系进行识别结果扩散,极大提高识别效率。

  • 可根据识别出的血缘关系自动绘制成敏感数据血缘可视化图谱,可清晰了解数据的来龙去脉。

说明

本功能仅限DataWorks企业版使用。

2022.6.14

华东1(杭州),华东2(上海)

所有DataWorks用户

查看敏感数据血缘(公测)

数据保护伞新增异常血缘关系分析功能

新增异常血缘关系分析,功能如下:

  • 系统根据敏感字段的血缘关系,自动分析字段之间的异常关联关系,避免通过字符拼接、拆解的方式绕过敏感数据的识别和使用审计。

  • 帮助您识别出与查询字段有血缘关系,但敏感字段类型识别结果不一致的字段。

2022.6.14

华东1(杭州),华东2(上海)

所有DataWorks用户

查看敏感数据血缘(公测)

2022-5

功能名称

功能描述

发布时间

发布地域

适用客户

相关文档

数据保护伞风险识别优化功能全新改版(老用户需迁移)。

新版风险识别功能内置风险识别场景,支持数据分类分级、操作方式、人员权限等多维度组合风险识别,增加报警事件聚合度判断减少误报情况,支持高、中、低的精细化风险管理,全方位洞察企业内部各类数据风险。

说明
  • 风险识别管理需要购买DataWorks专业版以上才可以进行使用。

  • 旧版风险识别管理将保留至2022年06月30日,到期后,已创建的风险识别规则及相关风险数据将自动清除,后续则只能使用新版风险识别管理功能,请您及时将需要使用的规则及风险数据导出备份。

  • 老用户需迁移至新版,才可使用新版功能。

2022.5.16

华东1(杭州),华东2(上海),华北2(北京),华北3(张家口),华南1(深圳),西南1(成都),中国香港

所有DataWorks用户。

风险识别管理(新版)

2022-4

功能名称

功能描述

发布时间

发布地域

适用客户

相关文档

DataStudio优化数据开发各类文件的管理能力。

  • 您可以直接点击新建节点,系统会推荐最近常用的节点类型,无需再手动逐个寻找所需要的节点。

  • 增加我的收藏,常用节点可以直接收藏,方便快速修改或与他人进行协同编辑。

  • 优化左侧目录树,未提交作业任务会直接显示提交发布图形按钮,方便进行任务的快速发布。

2022.4.7

华东1(杭州),华东2(上海),华北2(北京),华北3(张家口),华南1(深圳),西南1(成都),中国香港

所有DataWorks用户。

数据开发功能索引

数据质量新增全局质量规则批量管理。

新增质量规则列表,功能如下:

  • 可以展示您在现有工作空间下配置的全局数据质量规则,并对规则进行批量的启停、订阅、关联调度、强弱规则设置等操作。

  • 可搭配现有的按模板配置规则的能力,能够批量、快速地创建、管理质量规则,治理企业各类数据质量问题。

2022.4.11

华东1(杭州),华东2(上海),华北2(北京),华北3(张家口),华南1(深圳),西南1(成都),中国香港

所有DataWorks用户。

数据质量规则配置流程

运维中心智能基线支持更灵活的报警管理设置。

智能基线升级以后,功能具体如下:

  • 支持统一针对基线实例、事件及基线进行管理。

  • 支持为每条基线单独设置短信/邮件/电话等不同的报警规则,并且可以直接关联值班表,避免频繁变更责任人带来的复杂操作。

2022.4.26

华东1(杭州),华东2(上海),华北2(北京),华北3(张家口),华南1(深圳),西南1(成都),中国香港

所有DataWorks用户。

智能基线概述

2022-3

功能名称

功能描述

发布时间

发布地域

适用客户

相关文档

发布中心支持跨工作空间发布,发布管控能力增强。

发布中心支持将工作空间内的任务、资源、函数等对象发布至另一个工作空间内,解决多工作空间之间的任务发布问题。

2022.3.2

全部地域

金融领域、政府等对于发布强管控用户。

创建及发布发布包:跨工作空间

数据分析操作记录接入安全审计。

DataWorks数据分析中,如下操作的操作记录已接入安全审计:

  • 运行MaxCompute SQL语句。

  • 下载SQL运行结果。

  • 下载电子表格。

2022.3.20

全部地域

所有DataWorks用户。

数据治理中心治理排行榜功能优化。

数据治理中心治理排行榜功能优化,新增以下功能:

  • 支持按照角色过滤治理项。

  • 支持对治理项检查项事件按照不同维度进行排序。

  • 支持展示工作空间下全部人员的治理排行。

  • 查看待治理项问题列表详情。

  • 查看资源消费历史趋势图与MaxCompute消耗明细。

2022.3.21

全部地域

参与邀测的数据治理中心用户。

查看治理结果

数据集成配置任务性能优化。

使用数据集成独享资源组运行一键实时同步至MaxCompute一键实时同步至Hologres任务时,每个任务可选择超过1000张表,使同步效率更加高效。

2022.3.25

全部地域

SAAS平台、金融领域等需要同步大批量表数据的用户。

PostgreSQL环境准备

2021年

2021-12

功能名称

功能描述

发布时间

发布地域

相关文档

数据质量支持选择规则模板来批量配置数据质量规则。

DataWorks数据质量支持选择规则模板来批量配置数据质量规则,简化配置难度:

  • 支持选择表级规则模板,批量给多张表配置规则。

  • 支持选择字段级规则模板,批量给多个字段配置规则。

2021.12.14

全部地域。

配置规则:按模板(批量)

数据治理中心新增资源使用分析功能。

DataWorks数据治理中心新增资源使用分析功能,从MaxCompute存储消耗MaxCompute计算消耗DataWorks调度消耗DataWorks离线同步消耗四个维度展示资源消耗总览、资源消耗异动,以及资源消耗明细。

2021.12.9

全部地域。

透视分析:按资源类型

2021-11

功能名称

功能描述

发布时间

发布地域

相关文档

数据开发新增资源组编排功能。

DataWorks的资源组编排功能,帮助您在数据开发阶段,批量修改指定业务流程下目标节点使用的调度资源组。当您的工作空间中有多个调度资源组时,可以根据实际业务需求,使用该功能快速为目标节点重新分配资源组,促进资源的合理使用。

2021.11.30

全部地域。

资源组编排

数据开发新增批量操作功能。

DataWorks支持对节点、资源、函数进行批量修改责任人等批量编辑操作,并支持批量提交并发布,将变更操作发布至生产环境生效。

2021.11.11

全部地域。

批量操作

2021-10

功能名称

功能描述

发布时间

发布地域

相关文档

DataWorks智能数据建模新增逆向建模、命名词典功能。

  • 命名词典为您提供管理业务名词、物理表、字段的词根和词素及其标准化翻译功能。

  • 逆向建模功能帮助您将其他工具建好的模型反向建模至DataWorks的维度建模中。

2021.10.30

该功能目前正在公测中,已开通公测的地域有:华北2(北京)、华东2(上海)、华东1(杭州)、华南1(深圳)、华北3(张家口)、西南1(成都)、新加坡、美国(硅谷)、德国(法兰克福)、中国香港、华东2(上海)金融云、华南1(深圳)金融云。

数据开发新增代码搜索功能。

DataWorks的代码搜索功能,用于通过关键字搜索节点中的代码片段,并展示包含该代码片段的所有节点及片段的详细内容。当目标表数据产生变更,您需要查找操作源(即导致目标表数据变更的任务)时,可以使用该功能。

2021.10.27

全部地域。

代码搜索

2021-09

功能名称

功能描述

发布时间

发布地域

相关文档

数据服务API资产全面纳入数据地图。

数据服务API资产(向导、脚本、注册等类型API)已接入数据地图,支持企业场景和全局范围的数据接口查找及管理,包括全局API检索、热门API统计、独立API详情页、各数据源下的API分布等产品功能。

2021.09.30

全部地域。

数据治理中心全新发布。

DataWorks的数据治理中心从全局视角、工作空间视角、个人视角,自动发现并量化平台使用过程中数据存储、任务计算、代码开发、数据质量及数据安全等维度存在的待治理问题,并通过健康分模型进行统计,以治理报告及治理排行榜的形式呈现治理结果,帮助您有效推动解决治理问题,达成治理目标。

2021.09.12

该功能目前正在公测中,已开通公测的地域有:华东2(上海)、华东1(杭州)、华北2(北京)、华南1(深圳)。

数据治理中心概述

2021-08

功能名称

功能描述

发布时间

发布地域

相关文档

独享数据服务资源组上线杭州、上海地域。

在调用数据服务API需要高QPS和SLA保障的情况下,企业需要使用独享的数据服务资源来保障调用成功。同时,独享数据服务资源组能够满足高并发、高频率的接口调用并及时返回结果数据。

2021.08.06

华东1(杭州)、华东2(上海)地域。

独享数据服务资源组

DataWorks迁移助手8.1日正式商业化。

迁移助手可以帮您快速复制DataWorks上不同的版本、主账号、地域和工作空间中的开发成果。迁移助手支持迁移周期任务、手动任务、资源、函数、数据源、表元数据、临时查询和组件等对象。您可以根据业务需求,选择全量导出、增量导出或自选导出等方式导出DataWorks中的开发成果。

2021.08.01

全部地域。

概述

2021-07

功能名称

功能描述

发布时间

发布地域

相关文档

DataWorks数据治理模块新增审批中心,可自定义审批流程。

DataWorks审批中心是一个用于管理数据授权、敏感行为管控流程的功能模块,包含审批范围定义、审批流程定义等核心功能,满足不同企业在不同内部合规场景下的审批要求。

2021.07.16

全部地域。

审批中心概述

DataWorks支持任务下发EMR gateway节点。

通过任务高级参数,支持任务下发EMR gateway节点,支持EMR负载均衡。后续会上线工作空间级别任务下发节点设置。

2021.07

全部地域。

创建EMR Hive节点

2021-06

功能名称

功能描述

发布时间

发布地域

相关文档

DataWorks支持EMR实时任务开发运维。

DataWorks支持开发EMR Spark Streaming、EMR Streaming SQL任务,并进行运维操作。

主要包括:实时任务开发,任务试运行,任务提交至生产环境,任务出错重试,查看任务状态及详情,任务启动、终止或下线,监控出错任务并报警等。

2021.06

全部地域。

创建EMR Spark Streaming节点

EMR数据开发任务一键迁移至DataWorks。

DataWorks为您提供了以下两种迁移方式,将EMR集群下的工作流(节点和调度配置)、手动任务、资源、数据源通过DataWorks迁移助手迁移至DataWorks工作空间中。您可通过DataWorks控制台迁移助手,查看迁移进度、迁移结果以及迁移报告。

2021.06

全部地域。

迁移EMR项目至DataWorks

运维中心新增资源运维,支持独享资源组水位监控。

资源运维功能用于监控DataWorks中任务运行所用资源组的使用情况。

2021.06.09

全部地域。

资源运维

数据服务支持MaxCompute数据源封装API。

DataWorks数据服务现已灰度支持直接访问并使用MaxCompute表封装API,该类API的调用请求将借助MaxCompute加速查询能力(MCQA)在引擎中执行数据查询,实现快速、高效的调用返回。(附:仅支持在独享数据服务资源组中使用MaxCompute数据源)

2021.06

全部地域。

DataWorks新增报警联系人中心。

您可以通过报警联系人页面,将目标RAM用户或RAM角色添加为报警联系人,添加后,DataWorks会将任务运行出错时产生的报警发送至对应联系人,方便您及时发现并处理异常任务。

2021.06

全部地域。

查看和设置报警联系人

2021-05

功能名称

功能描述

发布时间

发布地域

相关文档

DataWorks数据集成新增实时同步数据至AnalyticDB for MySQL 3.0的解决 。

DataWorks支持实时同步MySQL、OceanBase、PolarDB等数据库数据至AnalyticDB for MySQL 3.0。您可以先全量同步,再启动实时增量同步,实现数据的不间断同步。同时,实时同步已经自动支持源端增加列时,目标端接收同步数据的表也会增加相应列。

2021.05.25

全部地域。

资源规划与配置

开放消息服务(Open Message)开启公测。

DataWorks为您提供了开放消息能力。您可以在DataWorks开放平台开启消息订阅功能。该功能仅支持DataWorks企业版用户参与公测活动,企业版用户可以直接免费参与公测并试用开放消息功能。您可以通过开放消息获取DataWorks中的元数据及任务变更事件,实现DataWorks与您的自有系统深度集成。

2021.05.21

华北2(北京)、华东1(杭州)、华南1(深圳)和华东2(上海)地域。

OpenEvent概述

DataWorks任务调度新增年周期和月末最后一天周期。

DataWorks周期任务调度新增了年周期调度和月末最后一天调度,可实现按年、季度、指定月最后一天的周期调度。目前DataWorks调度周期支持包括分钟小时

2021.05.19

全部地域。

时间属性配置说明

DataWorks支持ClickHouse引擎。

DataWorks支持ClickHouse引擎,提供了引擎相关的数据集成、数据开发、任务调度与任务运维等ETL操作和管理能力。

  • DataWorks支持通过EMR实例模式或JDBC连接串模式绑定ClickHouse集群,以及通过JDBC连接串模式绑定ClickHouse数据源。

  • DataWorks支持通过数据集成读写ClickHouse数据。

  • DataWorks提供的ClickHouse SQL节点,实现分布式SQL查询引擎处理结构化数据,提高作业的执行效率。

2021.05.15

全部地域。

2021-04

功能名称

功能描述

发布时间

发布地域

相关文档

DataWorks数据集成支持实时同步到AnalyticDB for MySQL 3.0。

实时同步至AnalyticDB for MySQL 3.0,可以在一个任务中一次同步多个表的实时信息,实时同步时已经自动支持添加列的DDL同步,即源端增加列时目标端的表也会增加相应列。

2021.4.20

全部地域。

一键实时同步至AnalyticDB for MySQL 3.0

DataWorks数据开发模块新增FTP Check功能节点。

FTP Check节点可用于通过FTP协议周期性检测指定文件是否存在。如果文件存在,则启动调度下游任务;如果不存在,则按照配置的间隔时间重复检测,直到满足检测的停止条件时停止检测。该节点通常作为DataWorks调度系统与其他调度系统之间传递信号使用。

2021.4.15

华北2(北京)、华东2(上海)、华东1(杭州)、华南1(深圳)、华北3(张家口)、西南1(成都)、新加坡。

FTP Check节点

2021-03

功能名称

功能描述

发布时间

发布地域

相关文档

DataWorks企业版新增自定义角色功能。

自定义角色功能,可以方便您针对实际业务制定权限功能。

2021.3.22

全部地域。

空间级模块权限管控

DataWorks数据集成支持kerberos认证文件机制。

对于Hive、kafka等数据源,有时是需要kerberos认证文件来进行访问的,数据集成支持了kerberos认证文件机制,可以自由上传数据源相关的认证文件,并在配置时使用,保证访问数据源的安全性。

2021.3.16

全部地域。

附录:配置Kerberos认证

DataWorks控制台新增新版安全中心功能。

DataWorks的安全中心,帮助您快速构建平台的数据内容、个人隐私等相关的安全能力,满足企业面向高风险场景的各类安全要求(例如,审计),无需您额外配置即可直接使用该功能。

2021.03.13

全部地域。

概述

运维中心新增DAG聚合视图及上下游分析功能。

您可以按照工作空间、责任人、优先级等维度,对DAG图中的节点进行聚合,查看目标维度节点的总数量。同时,也可以对指定节点进行上下游分析,快速定位阻塞当前节点运行的上游节点,并查看当前节点的下游节点数量,掌握任务的运行情况。

2021.03.10

华南1(深圳)地域。

查看并管理周期任务

2021-02

功能名称

功能描述

发布时间

发布地域

相关文档

数据发现支持批量创建元数据采集器。

数据地图 > 数据发现支持批量创建元数据采集器,帮助您在数据地图中快速查看表的内部结构及与表相关的关联关系。

2021.02.17

全部地域。

采集E-MapReduce元数据

迁移助手支持Airflow。

迁移助手支持将Airflow调度系统中的任务迁移至DataWorks。

2021.02.16

全部地域。

导出开源引擎任务

数据服务新增计量API。

数据服务的计量API,包括计量大屏及计量详情。为您提供了各类可视化图表及统计数据,包括工作空间下的API总数、总调用次数等信息,帮助您从全局角度了解API的调用情况。同时,可以针对单个API分别查看监控图表,获取API网关状态码、数据服务错误码等详细信息。

2021.02.16

华北2(北京)。

DataWorks控制台新增开放平台功能。

DataWorks控制台的开放平台功能,为您展示OpenAPI的计量报表,方便您查看指定日期OpenAPI的调用详情。

2021.02.13

全部地域。

DataWorks开放平台OpenAPI报表

2021-01

功能名称

功能描述

发布时间

发布地域

相关文档

DataWorks数据集成新增支持HTTP形式的数据源。

某些数据源只能以HTTP REST API形式对外提供数据,或者接收数据。针对这类数据源,数据集成支持离线形式读取和写入数据。

2021.1.4

全部地域。

RestAPI Reader

2020年

2020-12

功能名称

功能描述

发布时间

发布地域

相关文档

DataWorks数据集成新增全增量同步到Elasticsearch。

将指定的整个数据库全部或者部分表一次性的全部同步至ElasticSearch,并且支持后续的实时增量同步模式,将新增数据持续同步至ElasticSearch。

2020.12.30

全部地域。

一键实时同步至Elasticsearch

2020-09

功能名称

功能描述

发布时间

发布地域

相关文档

DataWorks数据集成新增实时同步功能。

提供的实时数据同步功能,可以将源端数据库中部分或全部表的数据变化实时同步至目标数据库中,实现目标库实时保持和源库的数据对应。利用解决方案可以实现全增量一体化同步。

2021.4.15

全部地域。

2020-07

功能名称

功能描述

发布时间

发布地域

相关文档

OpenAPI公测,自定义DataWorks功能。

DataWorks开放租户、元数据、数据开发、运维中心、数据质量、数据服务等API,让您更加自由地使用DataWorks。

说明

您需要购买DataWorks企业版及以上版本,才可以使用OpenAPI功能。

2020.07.16

华东1(杭州)、华东2(上海)、华南1(深圳)、华北2(北京)和华北3(张家口)。

DataWorks OpenAPI概述

迁移助手公测。

迁移助手支持迁移周期任务、手动任务、资源、函数、数据源、表元数据、临时查询和组件等对象。您可以根据业务需求,选择全量导出、增量导出或自选导出等方式导出DataWorks中的开发成果。

2020.07

东1(杭州)、华东2(上海)、华北2(北京)、华北3(张家口)、华南1(深圳)、西南1(成都)和新加坡。

迁移助手

数据服务更新。

DataWorks数据服务更新发布全新的目录树结构。

2020.07.28

  • 函数及过滤器功能仅支持在华东2(上海)地域使用,且您需要购买DataWorks专业版及以上版本。

  • 服务编排功能仅支持在华东2(上海)地域使用,且您需要购买DataWorks企业版及以上版本。

数据服务

2020-06

功能名称

功能描述

发布时间

发布地域

相关文档

从数据源查询功能。

您可以在编辑电子表格页面,使用从数据源查询功能,快速从数据源读取数据进行分析。

2020.06.09

华东2(上海)。

分析数据

2020-04

功能名称

功能描述

发布时间

发布地域

相关文档

运维中心支持电话告警功能。

运维中心支持短信邮件电话三种报警方式。

重要

您需要购买DataWorks专业版及以上版本,才可以使用电话告警功能。

2020.04.15

全部地域。

规则管理