本文为您介绍DataWorks产品功能和相应文档的发布动态。
2024年
2024-10
功能名称 | 描述 | 发布时间 | 发布地域 | 使用客户 | 相关文档 |
镜像管理 | DataWorks支持将自定义镜像构建为持久化镜像,无需每次都重新部署镜像环境,每次运行任务节点时使用同一个镜像环境,不仅确保了运行环境的一致性,还有效节省了任务运行时间、计算成本和流量成本。 | 2024.10.18 | 华北2(北京)、华东2(上海)、华南1(深圳)、华东1(杭州)、中国香港、华北3(张家口)、新加坡、马来西亚(吉隆坡)、印度尼西亚(雅加达)、日本(东京)、德国(法兰克福)、英国(伦敦)、美国(硅谷)、美国(弗吉尼亚) | 所有DataWorks用户 | |
Serverless同步任务 | 数据集成新增Serverless同步任务类型,无资源组概念,您只需关注同步业务本身。 | 2024.10.12 | 华东1(杭州)、华东2(上海)、华北2(北京)、华北3(张家口)、华南1(深圳)、中国香港、英国(伦敦)、美国(硅谷)、美国(弗吉尼亚)、日本(东京)、德国(法兰克福)、马来西亚(吉隆坡) | 所有DataWorks用户 |
2024-09
功能名称 | 描述 | 发布时间 | 发布地域 | 使用客户 | 相关文档 |
实时同步任务 | 支持Loghub(SLS)单个logstore实时同步至DLF2.0中,以Paimon格式写入表数据,支持中间做简单的数据处理。 | 2024.9.13 | 所有地域 | 所有DataWorks用户 | - |
实时同步任务 | 支持实时同步任务在运行中动态调整占用的资源大小,无需停止任务,可以设置调整计划,按时进行调整。 | 2024.9.13 | 所有地域 | 所有DataWorks用户 | - |
2024-08
功能名称 | 描述 | 发布时间 | 发布地域 | 使用客户 | 相关文档 |
实时同步任务 | 新增支持MySQL整库实时同步至SelectDB或Apache Doris。 | 2024.8.29 | 所有地域 | 所有DataWorks用户 | |
Hologres数据访问权限控制 | DataWorks安全中心为您提供访问Hologres数据时的权限管控能力,包括设置授权身份、权限申请、权限审批,还支持您查看权限申请记录、权限审批记录。 | 2024.8.22 | 所有地域 | 所有DataWorks用户 | |
SQL查询结果导出为钉钉表格文档 | DataWorks在进行SQL查询后,可直接通过钉钉应用,将查询结果以钉钉文档的形式导出在钉钉内,避免了将查询数据下载为Excel文件带来的数据安全问题。 | 2024.8.14 | 华北3(张家口) 西南1(成都) | 所有DataWorks用户 | |
降低修改MaxCompute数据源默认访问身份的权限要求 | 当MaxCompute数据源的默认访问身份为其他RAM子账号时,由“需拥有RAM的AdministratorAccess权限”调整为“需拥有MaxCompute项目的admin或super_administrator权限”。 | 2024.8.8 | 所有地域 | 所有DataWorks用户 | |
企业版已支持云SSO功能 | DataWorks企业版支持云SSO。通过阿里云的云SSO,您可以使用第三方或自建IdP(Identity Provider)登录阿里云使用DataWorks。 | 2024.8.8 | 所有地域 | 所有DataWorks用户 |
2024-07
功能名称 | 描述 | 发布时间 | 发布地域 | 使用客户 | 相关文档 |
RAM权限策略更新 |
| 2024.7.10 | 所有地域 | 所有DataWorks用户 | |
注册E-MapReduce集群功能更新 | 在DataWorks注册E-MapReduce集群新增如下功能:
| 2024.7.10 | 目前仅华北3(张家口)地域支持使用EMR Serverless Spark。 | 所有DataWorks用户 | |
数据开发新增节点 | 数据开发新增CDH Spark SQL节点,该节点可进行CDH Spark SQL任务的开发和周期性调度,以及与其他作业的集成操作。 | 2024.7.10 | 所有地域 | 所有DataWorks用户 |
2024-06
功能名称 | 描述 | 发布时间 | 发布地域 | 使用客户 | 相关文档 |
数据集成新增同步链路 | 数据集成支持将MySQL数据通过整库离线同步或整库实时同步方式同步至StarRocks。 | 2024.06.28 | 所有地域 | 所有DataWorks用户 | |
数据开发支持数据推送节点 | 数据推送节点支持您在业务流程中,先通过上游数据加工和数据处理任务来产出数据表;然后在下游挂载数据推送节点,将上游产出的数据结果通过消息卡片的方式定时推送至钉钉群或飞书群。 说明 使用数据推送节点,请提交工单联系技术支持人员升级调度资源组。 | 2024.6.28 |
| 所有DataWorks用户 | |
DataWorks Serverless资源组上线 | 为加强DataWorks功能间的资源管理并统一用户体验,DataWorks推出的Serverless资源组涵盖了原独享调度资源组、独享数据集成资源组、独享数据服务资源组的核心功能,通过一个资源组即可完成数据同步、任务调度运行、调用及管理API服务等操作。 | 2024.6.11 |
| 所有DataWorks用户 | |
新增“基于Lindorm计算引擎进行任务开发”最佳实践 | Lindorm计算引擎兼容CDH(Cloudera's Distribution Including Apache Hadoop)。您可在DataWorks上通过注册CDH集群并配置Lindorm计算引擎连接信息的方式,在DataWorks上基于Lindorm计算引擎进行交互式SQL查询、SQL任务开发、JAR任务执行等。 | 2024.6.5 | 所有地域 | 所有DataWorks用户 | |
数据集成新增数据源 | 数据集成新增支持Azure Blob Storage数据源。 | 2024.6.3 | 所有地域 | 所有DataWorks用户 |
2024-05
功能名称 | 描述 | 发布时间 | 发布地域 | 使用客户 | 相关文档 |
MySQL数据源支持OSS Binlog | 数据集成MySQL数据源新增支持OSS Binlog。 在添加MySQL数据源时,如果配置模式为阿里云实例模式,且RDS MySQL实例地域与DataWorks项目空间在同一地域,您可以开启支持OSS binlog读取,开启后,在无法访问RDS binlog时,将会尝试从OSS获取binlog,以避免实时同步任务中断。 | 2024.5.24 | 所有地域 | 所有DataWorks用户 | |
数据质量模块改版 | 数据质量改版,基于质量监控,结合具体的监控规则,对表的具体数据范围进行规则校验,优化数据质量监控流程。 | 2024.5.21 | 新版数据质量正在逐步上线中,具体支持地域请以实际控制台为准,如果您的业务所在地域暂时无法使用新版数据质量的相关功能,请参见旧版数据质量文档。 | 所有DataWorks用户 | |
数据集成新增同步链路 | 数据集成支持将Hologres数据通过整库离线同步方式同步至其他Hologres。 | 2024.5.20 | 所有地域 | 所有DataWorks用户 | |
DataWorks支持远程触发服务器脚本执行 | DataWorks的SSH节点可通过指定SSH数据源的方式,在DataWorks远程访问该数据源连接的主机,并触发脚本在远程主机执行。 | 2024.5.15 | 所有地域 | 所有DataWorks用户 | |
数据开发新增EMR Kyuubi节点 | DataWorks的EMR Kyuubi节点可进行Kyuubi任务的开发和周期性调度,以及与其他作业的集成操作。 | 2024.5.11 | 所有地域 | 所有DataWorks用户 | |
数据开发新增多种数据库类型节点 | DataWorks的数据开发支持DRDS、PolarDB MySQL、Doris等多种类型的数据库节点,您可基于该类节点执行相关任务的开发和周期性调度,以及与其他作业的集成操作。 | 2024.5.11 | 所有地域 | 所有DataWorks用户 |
2024-04
功能名称 | 描述 | 发布时间 | 发布地域 | 使用客户 | 相关文档 |
PostgreSQL数据源配置支持SSL认证 | 数据集成添加PostgreSQL数据源时支持配置SSL认证。 | 2024.4.26 | 所有地域 | 所有DataWorks用户 | |
数据治理中心支持Hologres数据源 | 数据治理中心新增支持Hologres数据源。 如需在数据治理中心中使用Hologres数据源,请先在数据地图中采集Hologres元数据。具体操作,请参见元数据采集。 | 2024.4.24 | 当前仅华北2(北京)、华东2(上海)、华东1(杭州)和华南1(深圳)地域的数据治理中心支持Hologres数据源。 | 所有DataWorks用户 | |
数据治理中心新增物化视图功能 | 当您在面对大数据计算任务频繁且存在大量相似子查询场景时,DataWorks支持自动化治理,智能推荐物化视图,为您提供了一种智能化、自动化的解决方案。当您启用此功能时,DataWorks能够自动识别和分类MaxCompute中的相似子查询,并生成物化视图推荐,您可以按需一键生成物化视图,从而显著提升计算效率和节省计算资源。 | 2024.4.12 | 所有地域 | 所有DataWorks用户 | |
DataWorks on CDH/CDP支持OPEN LDAP认证 | 在DataWorks注册CDH/CDP集群时,支持自定义阿里云账号与CDH/CDP集群OPEN LDAP账号的映射关系。映射后,使用阿里云账号在DataWorks提交运行的CDH/CDP任务,实际由映射的OPEN LDAP账号执行。该方式用于对不同云账号在CDH集群内可访问的数据进行权限隔离。 | 2024.4.8 | 华北2(北京)、华东2(上海)、华东1(杭州)、华南1(深圳)、华北3(张家口)、西南1(成都) | 所有DataWorks用户 |
2024-03
功能名称 | 描述 | 发布时间 | 发布地域 | 使用客户 | 相关文档 |
新版补数据功能上线 | 周期任务开发完成并提交发布后会按照调度配置定时运行,若您希望在指定时间段运行周期任务,可使用补数据功能。补数据可通过补历史或未来一段时间的数据,将数据写入至对应时间分区。新版补数据支持的补数据方式如下: | 2024.3.28 | 所有地域 | 所有DataWorks用户 | |
开放平台支持通过函数计算开发部署扩展程序 | 在DataWorks的扩展程序中,您可自定义事件消息的卡点逻辑,监管用户的操作行为(例如,拦截和阻断不当行为)。通过函数计算开发部署扩展程序,特定事件消息后续将直接下发至相应函数计算服务。该方式:
| 2024.3.19 |
| DataWorks企业版用户 | |
数据建模支持自定义模型的发布策略 | 数据建模支持自定义模型的发布策略。策略启用后,发布模型时可根据策略配置选择相应的发布模式。 | 2024.3.12 | 所有地域 | 购买智能数据建模产品的DataWorks用户 |
2024-02
功能名称 | 描述 | 发布时间 | 发布地域 | 使用客户 | 相关文档 |
新增在DataWorks使用 CDP/CDH的相关介绍 | 为您介绍在DataWorks上使用CDP/CDH的基本开发流程,以及相关费用说明、环境准备、权限控制等内容。 | 2024.2.21 | 所有地域 | 所有DataWorks用户 | |
数据服务支持实例模式的StarRocks数据源 | 开通E-MapReduce Serverless StarRocks集群后,您可在DataWorks中通过实例模式新增StarRocks数据源,DataWorks数据服务支持面向StarRocks数据源快速封装数据API,实现数据共享与开放。 | 2024.2.20 | 所有地域 | 所有DataWorks用户 | |
数据地图新增数据开发代码搜索 | DataWorks数据地图新增数据开发代码搜索功能,支持跨工作空间全局代码检索,通过关键字精确定位目标代码,帮助您提升开发效率、减少工程冗余。 | 2024.2.20 | 所有地域 | DataWorks标准版及以上版本用户 | |
新增数据上传与下载功能 | DataWorks的数据上传与下载功能支持将本地CSV文件、OSS文件数据上传至MaxCompute进行处理及分析。同时,也可管理上传的文件列表和DataWorks数据分析等模块下载的文件列表,方便您管理和操作数据。 | 2024.2.20 | 所有地域 | 所有DataWorks用户 | |
数据开发新增CDH集群节点 | 您可在DataWorks上进行CDH相关的Hive、Spark、MR、Presto、Impala等任务的开发和周期性调度。 | 2024.2.19 | 所有地域 | 所有DataWorks用户 | |
数据保护伞新版系统配置页面发布上线 | 您可通过系统配置:
以便及时发现并处理潜在安全风险。 | 2024.2.6 | 所有地域 | 所有DataWorks用户 |
2024-01
功能名称 | 功能描述 | 发布时间 | 发布地域 | 使用客户 | 相关文档 |
数据开发与数据分析的查询结果支持脱敏展示 | 数据保护伞支持对E-MapReduce表数据进行分类分级、敏感数据识别、数据脱敏展示。 您在数据开发和数据分析中执行SQL语句查询数据时,若该数据被识别为敏感数据,平台将会按照脱敏规则进行遮盖、加密等模式的脱敏展示,加强企业数据安全管控。 | 2024.1.25 | 所有地域 | 所有DataWorks用户 | |
数据地图支持展示实时同步链路数据血缘 | 数据地图新增解析及展示如下实时同步链路的数据血缘:
通过实时同步血缘和离线同步血缘的组合分析,帮助您更全面地了解数据流转情况。 | 2024.1.15 | 所有地域 | 所有DataWorks用户 |
2023年
2023-12
功能名称 | 功能描述 | 发布时间 | 发布地域 | 使用客户 | 相关文档 |
数据开发(DataStudio)绑定数据源 | 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务,需先将已创建的数据源或集群绑定至数据开发(DataStudio)模块。绑定后,才可读取数据源或集群中的数据,并进行相关开发操作。 | 2023.12.29 | 所有地域 | 所有DataWorks用户 | |
新版数据源发布 | 为给您带来更统一的产品使用体验,DataWorks将MaxCompute、Hologres、AnalyticDB for PostgreSQL、AnalyticDB for MySQL、ClickHouse计算引擎合并至数据源管理;将E-MapReduce(简称EMR)、CDH/CDP引擎合并至开源集群管理。合并后,原计算引擎的相关操作(例如,创建、编辑)将通过数据源/开源集群界面执行。 | 2023.12.29 | 所有地域 | 所有DataWorks用户 | |
新增扩展点事件 |
| 2023.12.27 | 所有地域 | 所有DataWorks用户 | |
新增扩展点应用范围 | 扩展点事件新增应用范围:
注册扩展程序时,仅支持选择某一类型的扩展点事件。 | 2023.12.22 |
| 所有DataWorks用户 | |
数据治理中心新增SQL效率优化检查项 | 数据治理中心新增对ODPS、Hive、Spark SQL的笛卡尔积检查、无效全表JOIN检查、暴力扫描等5项检查项,帮助您在研发环节进行事前主动检查和及时优化,提升计算效率,避免出现大量计算资源浪费,保障数据产出时效性。 | 2023.12.22 | 所有地域 | 所有DataWorks用户 | |
新增适配StarRocks数据源 | DataWorks全面适配StarRocks数据源:
| 2023.12.15 | 所有地域 | 所有DataWorks用户 | |
新增适配多个E-MapReduce Hadoop集群版本 | DataWorks新增适配十余种E-MapReduce Hadoop集群版本,包括:
| 2023.12.15 | 所有地域 | 所有DataWorks用户 | |
数据开发Check节点新增检查对象 | Check节点可用于检查目标对象(MaxCompute分区表、FTP文件或OSS文件)是否可用,当满足检查策略后Check节点会返回运行成功状态。 若某任务的运行依赖目标对象,可使用Check节点检查目标对象,并设置该任务为Check节点的下游任务,满足检查策略后,Check节点便会运行成功并触发下游任务执行。 | 2023.12.08 | 所有地域 | 所有DataWorks用户 | |
数据开发新增PAI DLC节点 | 您可通过PAI DLC节点周期性调度运行PAI DLC任务。 | 2023.12.08 | 所有地域 | 所有DataWorks用户 | |
安全中心增加实时风险识别规则 | 安全中心支持管理员将风险识别能力以扩展程序的方式注册至DataWorks,作为风险识别规则,用于识别操作行为中的风险。 当前已支持对数据下载操作行为通过预设/自定义扩展程序识别风险,并按需申请下载或阻断下载行为。 | 2023.12.08 | 所有地域 | 所有DataWorks用户 |
2023-11
功能名称 | 功能描述 | 发布时间 | 发布地域 | 使用客户 | 相关文档 |
数据开发(DataStudio)新增Check节点 | DataWorks的Check节点可检查MaxCompute分区表是否已可用(即目标分区存在或已判断分区数据写入完成)。当下游任务需依赖该MaxCompute分区表时,您可使用此功能先检查分区数据是否可用,避免操作的数据有误。 | 2023.11.20 |
| 所有DataWorks用户 |
2023-08
功能名称 | 功能描述 | 发布时间 | 发布地域 | 使用客户 | 相关文档 |
DataWorks支持自定义调度周期 | 基于DataWorks原有调度周期,新增调度日历,支持用户在日历上标记调度策略为调度日或非调度日,达到自定义调度周期的效果。 | 2023.08.24 | 所有地域 | DataWorks企业版本用户 | |
数据治理中心支持E-MapReduce数据湖研发治理 | DataWorks数据治理中心新增基于E-MapReduce集群+DLF+DataWorks数据湖开发链路的主动治理分析,包括:
| 2023.08.24 |
| DataWorks企业版及以上版本用户 |
2023-06
功能名称 | 功能描述 | 发布时间 | 发布地域 | 使用客户 | 相关文档 |
Kafka数据源实时同步Hologres并进行ETL |
| 2023.06.01 | 所有地域 | DataWorks所有用户 | |
MySQL整库实时同步至OSS数据湖,写为Hudi格式 | MySQL整库实时同步至OSS数据湖,写为Hudi格式。
| 2023.06.01 | 所有地域 | 所有DataWorks用户 | |
数据集成支持AWS RDS数据源 | 将AWS RDS按照MySQL数据源方式进行配置,MySQL数据源自身具备的所有能力,AWS RDS也同样适用。 | 2023.06.01 | 所有地域 | 所有DataWorks用户 |
2023-04
功能名称 | 功能描述 | 发布时间 | 发布地域 | 使用客户 | 相关文档 |
数据分析结果直接保存为MaxCompute表 | 数据分析结果无需通过代码创建表,可以直接保存为MaxCompute表,进行后续查询或联合分析。 | 2023.4.20 | 所有地域 | 所有DataWorks用户 | |
数据分析支持查询结果百万级数据下载 | 数据分析SQL查询下载条数默认1万条,对于DataWorks标准版、专业版、企业版、旗舰版,管理员可在安全中心设置的最大下载条数分别为标准版(20万)、专业版(200万)、企业版(500万)、旗舰版(500万)。同时,也可以关闭下载功能。 | 2023.4.18 | 所有地域 | 所有DataWorks用户 | |
大数据公共数据集上线 | 基于大数据AI公共数据集(淘宝、飞猪、阿里音乐、GitHub、TPC等),通过DataWorks与MaxCompute快速完成TB级别大数据分析。 | 2023.4.11 | 所有地域 | 所有DataWorks用户 |
2023-03
功能名称 | 功能描述 | 发布时间 | 发布地域 | 使用客户 | 相关文档 |
数据治理中心支持使用消息通知治理问题 | 管理员及个人用户,可将治理工作台中每日治理的待解决问题,以消息通知的形式,通过系统提示、邮件、钉钉群、Webhook等方式发送给指定对象。方便治理责任人及时了解最新待治理问题进展并快速进入系统处理。 | 2023.3.15 | 所有地域 | 所有DataWorks用户 | |
数据治理中心新增存储长生命周期治理项 | 存储长生命周期治理项可帮助用户对MaxCompute分区表合理设置生命周期,减少存储资源的浪费。 | 2023.3.15 | 所有地域 | 所有DataWorks用户 | |
数据服务的加速服务启动商业化 | 加速服务面向MaxCompute数据源生成在线API服务,无需导出MaxCompute数据,即可提供良好的查询性能与效率,满足在线查询需求。 | 2023.3.1 | 华东2(上海)、华北2(北京)、华东1(杭州)、华南1(深圳)地域。 | 所有DataWorks用户 |
2023-01
功能名称 | 功能描述 | 发布时间 | 发布地域 | 使用客户 | 相关文档 |
DataWorks新增已购资源进行商品管理 | 新增功能如下: DataWorks支持展示您当前所有已购买且未释放的下属商品,方便您快速进行升降规格、退费、续费等操作。 | 2023.1.11 | 所有地域 | 所有DataWorks用户 | |
DataWorks数据治理中心新增任务批量优雅下线 | 新增功能如下:
| 2023.1.9 | 所有地域 | 所有DataWorks用户 | |
DataStudio简单模式支持代码评审 | 新增功能如下: 简单模式支持代码评审。开启强制代码评审,评审通过后节点任务才会在生产环境生效。 | 2023.1.5 | 所有地域 | 所有DataWorks用户 |
2022年
2022-11
功能名称 | 功能描述 | 发布时间 | 发布地域 | 使用客户 | 相关文档 |
DataWorks数据服务支持面向开发和生产环境数据源封装API | DataWorks在标准模式的工作空间下,新增如下功能:
| 2022.11.29 | 所有地域 | 所有DataWorks用户 | |
DataWorks数据地图支持申请Hive表权限 | DataWorks 页面,新增申请权限按钮,支持跳转至安全中心进行表权限的申请。 | 2022.11.29 | 所有地域 | 所有DataWorks用户 | |
DataWorks数据地图新增数据专辑功能 | DataWorks数据地图新增数据专辑页面,功能如下:
| 2022.11.16 | 所有地域 | 所有DataWorks用户 | |
DataWorks数据分析新版升级,全新的SQL查询体验 | DataWorks数据分析,新增功能如下:
| 2022.11.15 | 全部地域 | 所有DataWorks用户 | |
DataWorks数据服务支持解析高级SQL中的请求参数和返回参数 | 在数据服务中,新增如下功能:
| 2022.11.10 | 全部地域 | 所有DataWorks用户 | 无 |
2022-10
功能名称 | 功能描述 | 发布时间 | 发布地域 | 使用客户 | 相关文档 |
DataWorks智能数据建模支持E-MapReduce Hive,建模能力对齐MaxCompute | DataWorks 新增如下两种功能:
| 2022.11.25 | 全部地域 | 所有DataWorks用户 | |
DataWorks智能数据建模支持对模型进行版本管理 | DataWorks 新增如下两种功能:
| 2022.11.25 | 全部地域 | 所有DataWorks用户 | |
DataWorks数据服务API详情页面新增展示各域名的调用地址 | 在API详情页面会展示当前API基于公网域名、VPC域名、独立域名分别生成的调用地址,您可灵活选用不同的域名进行API调用。 | 2022.10.21 | 全部地域 | 所有DataWorks用户 | |
DataWorks数据地图血缘大图全新升级 | 新版数据血缘信息为您提供更好的血缘分析体验。在血缘信息详情页面,您可以执行如下操作:
| 2022.10.21 | 全部地域 | 所有DataWorks用户 | |
DataWorks数据治理中心新增支持4种研发维检查项 | DataWorks数据治理中心新增4种检查项:
主要功能如下:
| 2022.10.20 | 全部地域 | 所有DataWorks用户 | |
DataStudio简单模式支持代码评审 | 简单模式开启强制代码评审,完成评审后,该代码才会在生产环境生效。 | 2022.9.22 | 全部地域 | 所有DataWorks用户 |
2022-8
功能名称 | 功能描述 | 发布时间 | 发布地域 | 使用客户 | 相关文档 |
运维中心新增业务流程视角的任务管理 | DataWorks运维中心支持使用业务流程视角查看任务的运行情况,并执行重跑、冻结、终止运行等业务流程运维操作。 | 2022.8.22 | 全部地域 | 所有DataWorks用户 | |
数据服务新增面向MaxCompute数据源的加速查询 | DataWorks数据服务支持面向MaxCompute数据源生成在线API,无需导出MaxCompute数据,即可提供良好的查询性能与效率,满足在线查询需求。其加速方案包括:
| 2022.8.17 | 华东2(上海),华南1(深圳) | 所有DataWorks用户 | |
数据服务新增智能诊断及分析调用链路 | DataWorks数据服务支持对API调用日志进行分析。您可使用该功能分析单条调用请求的链路,及时发现异常请求,快速定位问题并给出诊断结果及建议。 | 2022.8.7 | 全部地域 | DataWorks用户 | |
数据地图新增项目、表级别的细粒度权限管控 | DataWorks数据地图可通过多样化配置实现不同粒度的元数据权限管控,包括:
| 2022.8.5 | 全部地域 | DataWorks用户 | |
数据集成支持使用向导模式离线同步达梦数据库 | DataWorks数据集成支持使用可视化向导模式离线同步达梦数据库的数据,该方式相较脚本模式更易操作。 | 2022.8.2 | 全部地域 | DataWorks用户 |
2022-7
功能名称 | 功能描述 | 发布时间 | 发布地域 | 使用客户 | 相关文档 |
DataWorks智能数据建模支持维度建模 | DataWorks智能数据建模支持以下功能:
| 2022.7.29 | 华东1(杭州),华东2(上海),华北2(北京),华北3(张家口),华南1(深圳),西南1(成都),中国香港, 新加坡,上海金融云,深圳金融云,北京政务云,德国(法兰克福),美国(硅谷) | 所有DataWorks用户 | |
DataWorks智能数据建模支持查看关联表信息 | 您可以打开派生指标或原子指标的编辑页面,在右侧导航栏中查看当前指标所关联的模型表名称及字段名称,且支持跳转至目标表编辑页面管理关联关系。 | 2022.7.29 | 所有DataWorks用户 | ||
智能数据建模支持设置模型及指标的命名规则检查器 | 在数仓规划的数仓分层下,您可以设置模型或指标类型的命名检查器。当您在设计模型和指标时,命名检查器能够对实体名称进行约束和校验,从而提升整个开发流程中的命名规范性。 命名规则:
| 2022.7.29 | 所有DataWorks用户 | ||
DataWorks数据分析支持针对设置独享资源组 | 支持主账号在“系统设置”中设置数据分析。您可以在指定独享资源组下进行Sql查询。 | 2022.7.29 | 华东1(杭州),华东2(上海),华北2(北京),华北3(张家口),华南1(深圳),西南1(成都),德国(法兰克福) | 所有DataWorks用户 | |
数据集成DataStudio智能 | 支持Postgres数据库,SSL认证时支持 | 2022.7.26 | 华东1(杭州),华东2(上海),华北2(北京),华北3(张家口),华南1(深圳),西南1(成都),中国香港,日本(东京),新加坡,马来西亚(吉隆坡),印度尼西亚(雅加达),德国(法兰克福),英国(伦敦),美国(硅谷),美国(弗吉尼亚),阿联酋(迪拜) | 所有DataWorks用户 | |
DataWorks支持EMR新版数据湖DataLake | DataWorks支持基于EMR计算引擎新版数据湖DataLake,实现基于EMR引擎的数据集成、数据建模、数据开发调度、数据质量、数据地图、数据安全、数据分析(独享资源组)、数据服务等数据全周期能力。 | 2022.7.8 | 西南1(成都), 华北3(张家口),华南1(深圳),美国(硅谷),华北2(北京),华东2(上海),日本(东京),德国(法兰克福),美国(弗吉尼亚),印度尼西亚(雅加达),英国(伦敦),华东1(杭州),新加坡,中国香港,马来西亚(吉隆坡)、阿联酋(迪拜) | 所有DataWorks用户 | |
DataStudio智能编辑器支持可视化插入字段和表权限校验 |
| 2022.7.2 | 华东1(杭州),华东2(上海),华北2(北京),华北3(张家口),华南1(深圳),西南1(成都),中国香港 | 所有DataWorks用户 |
2022-6
功能名称 | 功能描述 | 发布时间 | 发布地域 | 使用客户 | 相关文档 |
数据治理中心全面开放使用 | 数据治理中心功能如下:
说明
| 2022.6.27 | 华东1(杭州),华东2(上海),华北2(北京),华南1(深圳),西南1(成都),新加坡,美国(硅谷) | 所有DataWorks用户 | |
数据治理中心支持任务360功能 | 提供任务的360全景功能,将任务关联的治理项问题、变更事件记录、影响基线、任务执行信息等关键信息进行集中展示,方便您根据信息进行调度任务治理。 | 2022.6.24 | 华东1(杭州),华东2(上海),华北2(北京),华南1(深圳),西南1(成都),新加坡,美国(硅谷) | 所有DataWorks用户 | |
智能数据建模支持查找视图及创建视图 |
| 2022.6.22 | 华东1(杭州),华东2(上海),华北2(北京),华北3(张家口),华南1(深圳),西南1(成都),中国香港,新加坡,美国(硅谷),德国(法兰克福),华东2(上海)金融云,华南1(深圳)金融云,华北2(政务云) | 所有DataWorks用户 | |
智能数据建模支持表名关键词逆向生成模型 | 您可以在逆向建模过程中,根据表名关键词模糊匹配,逆向生成逻辑模型。 | 2022.6.19 | 华东1(杭州),华东2(上海),华北2(北京),华北3(张家口),华南1(深圳),西南1(成都),中国香港,新加坡,美国(硅谷),德国(法兰克福),华东2(上海)金融云,华南1(深圳)金融云,华北2(政务云) | 所有DataWorks用户 | |
审批中心支持管控数据集成 | 为保障您的数据传输安全,审批中心为您提供基于源端、目的端的组合定义在保存或数据集成任务时必须触发审批,针对数据同步过程进行更加灵活的管控。 | 2022.6.15 | 华东1(杭州),华东2(上海),华北2(北京),华北3(张家口),华南1(深圳),西南1(成都),中国香港,新加坡,印度尼西亚(雅加达),马来西亚(吉隆坡),美国(硅谷),美国(弗吉尼亚),德国(法兰克福) 。 | 所有DataWorks用户 | |
数据保护伞新增敏感数据血缘可视化图谱 | 新增敏感数据血缘可视化图谱,功能如下:
说明 本功能仅限DataWorks企业版使用。 | 2022.6.14 | 华东1(杭州),华东2(上海) | 所有DataWorks用户 | |
数据保护伞新增异常血缘关系分析功能 | 新增异常血缘关系分析,功能如下:
| 2022.6.14 | 华东1(杭州),华东2(上海) | 所有DataWorks用户 |
2022-5
功能名称 | 功能描述 | 发布时间 | 发布地域 | 适用客户 | 相关文档 |
数据保护伞风险识别优化功能全新改版(老用户需迁移)。 | 新版风险识别功能内置风险识别场景,支持数据分类分级、操作方式、人员权限等多维度组合风险识别,增加报警事件聚合度判断减少误报情况,支持高、中、低的精细化风险管理,全方位洞察企业内部各类数据风险。 说明
| 2022.5.16 | 华东1(杭州),华东2(上海),华北2(北京),华北3(张家口),华南1(深圳),西南1(成都),中国香港 | 所有DataWorks用户。 |
2022-4
功能名称 | 功能描述 | 发布时间 | 发布地域 | 适用客户 | 相关文档 |
DataStudio优化数据开发各类文件的管理能力。 |
| 2022.4.7 | 华东1(杭州),华东2(上海),华北2(北京),华北3(张家口),华南1(深圳),西南1(成都),中国香港 | 所有DataWorks用户。 | |
数据质量新增全局质量规则批量管理。 | 新增质量规则列表,功能如下:
| 2022.4.11 | 华东1(杭州),华东2(上海),华北2(北京),华北3(张家口),华南1(深圳),西南1(成都),中国香港 | 所有DataWorks用户。 | |
运维中心智能基线支持更灵活的报警管理设置。 | 智能基线升级以后,功能具体如下:
| 2022.4.26 | 华东1(杭州),华东2(上海),华北2(北京),华北3(张家口),华南1(深圳),西南1(成都),中国香港 | 所有DataWorks用户。 |
2022-3
功能名称 | 功能描述 | 发布时间 | 发布地域 | 适用客户 | 相关文档 |
发布中心支持跨工作空间发布,发布管控能力增强。 | 发布中心支持将工作空间内的任务、资源、函数等对象发布至另一个工作空间内,解决多工作空间之间的任务发布问题。 | 2022.3.2 | 全部地域 | 金融领域、政府等对于发布强管控用户。 | |
数据分析操作记录接入安全审计。 | DataWorks数据分析中,如下操作的操作记录已接入安全审计:
| 2022.3.20 | 全部地域 | 所有DataWorks用户。 | |
数据治理中心治理排行榜功能优化。 | 数据治理中心治理排行榜功能优化,新增以下功能:
| 2022.3.21 | 全部地域 | 参与邀测的数据治理中心用户。 | |
数据集成配置任务性能优化。 | 使用数据集成独享资源组运行一键实时同步至MaxCompute、一键实时同步至Hologres任务时,每个任务可选择超过1000张表,使同步效率更加高效。 | 2022.3.25 | 全部地域 | SAAS平台、金融领域等需要同步大批量表数据的用户。 |
2021年
2021-12
功能名称 | 功能描述 | 发布时间 | 发布地域 | 相关文档 |
数据质量支持选择规则模板来批量配置数据质量规则。 | DataWorks数据质量支持选择规则模板来批量配置数据质量规则,简化配置难度:
| 2021.12.14 | 全部地域。 | |
数据治理中心新增资源使用分析功能。 | DataWorks数据治理中心新增资源使用分析功能,从MaxCompute存储消耗、MaxCompute计算消耗、DataWorks调度消耗、DataWorks离线同步消耗四个维度展示资源消耗总览、资源消耗异动,以及资源消耗明细。 | 2021.12.9 | 全部地域。 |
2021-11
功能名称 | 功能描述 | 发布时间 | 发布地域 | 相关文档 |
数据开发新增资源组编排功能。 | DataWorks的资源组编排功能,帮助您在数据开发阶段,批量修改指定业务流程下目标节点使用的调度资源组。当您的工作空间中有多个调度资源组时,可以根据实际业务需求,使用该功能快速为目标节点重新分配资源组,促进资源的合理使用。 | 2021.11.30 | 全部地域。 | |
数据开发新增批量操作功能。 | DataWorks支持对节点、资源、函数进行批量修改责任人等批量编辑操作,并支持批量提交并发布,将变更操作发布至生产环境生效。 | 2021.11.11 | 全部地域。 |
2021-10
功能名称 | 功能描述 | 发布时间 | 发布地域 | 相关文档 |
DataWorks智能数据建模新增逆向建模、命名词典功能。 |
| 2021.10.30 | 该功能目前正在公测中,已开通公测的地域有:华北2(北京)、华东2(上海)、华东1(杭州)、华南1(深圳)、华北3(张家口)、西南1(成都)、新加坡、美国(硅谷)、德国(法兰克福)、中国香港、华东2(上海)金融云、华南1(深圳)金融云。 | |
数据开发新增代码搜索功能。 | DataWorks的代码搜索功能,用于通过关键字搜索节点中的代码片段,并展示包含该代码片段的所有节点及片段的详细内容。当目标表数据产生变更,您需要查找操作源(即导致目标表数据变更的任务)时,可以使用该功能。 | 2021.10.27 | 全部地域。 |
2021-09
功能名称 | 功能描述 | 发布时间 | 发布地域 | 相关文档 |
数据服务API资产全面纳入数据地图。 | 数据服务API资产(向导、脚本、注册等类型API)已接入数据地图,支持企业场景和全局范围的数据接口查找及管理,包括全局API检索、热门API统计、独立API详情页、各数据源下的API分布等产品功能。 | 2021.09.30 | 全部地域。 | |
数据治理中心全新发布。 | DataWorks的数据治理中心从全局视角、工作空间视角、个人视角,自动发现并量化平台使用过程中数据存储、任务计算、代码开发、数据质量及数据安全等维度存在的待治理问题,并通过健康分模型进行统计,以治理报告及治理排行榜的形式呈现治理结果,帮助您有效推动解决治理问题,达成治理目标。 | 2021.09.12 | 该功能目前正在公测中,已开通公测的地域有:华东2(上海)、华东1(杭州)、华北2(北京)、华南1(深圳)。 |
2021-08
功能名称 | 功能描述 | 发布时间 | 发布地域 | 相关文档 |
独享数据服务资源组上线杭州、上海地域。 | 在调用数据服务API需要高QPS和SLA保障的情况下,企业需要使用独享的数据服务资源来保障调用成功。同时,独享数据服务资源组能够满足高并发、高频率的接口调用并及时返回结果数据。 | 2021.08.06 | 华东1(杭州)、华东2(上海)地域。 | |
DataWorks迁移助手8.1日正式商业化。 | 迁移助手可以帮您快速复制DataWorks上不同的版本、主账号、地域和工作空间中的开发成果。迁移助手支持迁移周期任务、手动任务、资源、函数、数据源、表元数据、临时查询和组件等对象。您可以根据业务需求,选择全量导出、增量导出或自选导出等方式导出DataWorks中的开发成果。 | 2021.08.01 | 全部地域。 |
2021-07
功能名称 | 功能描述 | 发布时间 | 发布地域 | 相关文档 |
DataWorks数据治理模块新增审批中心,可自定义审批流程。 | DataWorks审批中心是一个用于管理数据授权、敏感行为管控流程的功能模块,包含审批范围定义、审批流程定义等核心功能,满足不同企业在不同内部合规场景下的审批要求。 | 2021.07.16 | 全部地域。 | |
DataWorks支持任务下发EMR gateway节点。 | 通过任务高级参数,支持任务下发EMR gateway节点,支持EMR负载均衡。后续会上线工作空间级别任务下发节点设置。 | 2021.07 | 全部地域。 |
2021-06
功能名称 | 功能描述 | 发布时间 | 发布地域 | 相关文档 |
DataWorks支持EMR实时任务开发运维。 | DataWorks支持开发EMR Spark Streaming、EMR Streaming SQL任务,并进行运维操作。 主要包括:实时任务开发,任务试运行,任务提交至生产环境,任务出错重试,查看任务状态及详情,任务启动、终止或下线,监控出错任务并报警等。 | 2021.06 | 全部地域。 | |
EMR数据开发任务一键迁移至DataWorks。 | DataWorks为您提供了以下两种迁移方式,将EMR集群下的工作流(节点和调度配置)、手动任务、资源、数据源通过DataWorks迁移助手迁移至DataWorks工作空间中。您可通过DataWorks控制台迁移助手,查看迁移进度、迁移结果以及迁移报告。 | 2021.06 | 全部地域。 | |
运维中心新增资源运维,支持独享资源组水位监控。 | 资源运维功能用于监控DataWorks中任务运行所用资源组的使用情况。 | 2021.06.09 | 全部地域。 | |
数据服务支持MaxCompute数据源封装API。 | DataWorks数据服务现已灰度支持直接访问并使用MaxCompute表封装API,该类API的调用请求将借助MaxCompute加速查询能力(MCQA)在引擎中执行数据查询,实现快速、高效的调用返回。(附:仅支持在独享数据服务资源组中使用MaxCompute数据源) | 2021.06 | 全部地域。 | 无 |
DataWorks新增报警联系人中心。 | 您可以通过报警联系人页面,将目标RAM用户或RAM角色添加为报警联系人,添加后,DataWorks会将任务运行出错时产生的报警发送至对应联系人,方便您及时发现并处理异常任务。 | 2021.06 | 全部地域。 |
2021-05
功能名称 | 功能描述 | 发布时间 | 发布地域 | 相关文档 |
DataWorks数据集成新增实时同步数据至AnalyticDB for MySQL 3.0的解决 。 | DataWorks支持实时同步MySQL、OceanBase、PolarDB等数据库数据至AnalyticDB for MySQL 3.0。您可以先全量同步,再启动实时增量同步,实现数据的不间断同步。同时,实时同步已经自动支持源端增加列时,目标端接收同步数据的表也会增加相应列。 | 2021.05.25 | 全部地域。 | |
开放消息服务(Open Message)开启公测。 | DataWorks为您提供了开放消息能力。您可以在DataWorks开放平台开启消息订阅功能。该功能仅支持DataWorks企业版用户参与公测活动,企业版用户可以直接免费参与公测并试用开放消息功能。您可以通过开放消息获取DataWorks中的元数据及任务变更事件,实现DataWorks与您的自有系统深度集成。 | 2021.05.21 | 华北2(北京)、华东1(杭州)、华南1(深圳)和华东2(上海)地域。 | |
DataWorks任务调度新增年周期和月末最后一天周期。 | DataWorks周期任务调度新增了年周期调度和月末最后一天调度,可实现按年、季度、指定月最后一天的周期调度。目前DataWorks调度周期支持包括分钟、小时、日、周、月和年。 | 2021.05.19 | 全部地域。 | |
DataWorks支持ClickHouse引擎。 | DataWorks支持ClickHouse引擎,提供了引擎相关的数据集成、数据开发、任务调度与任务运维等ETL操作和管理能力。
| 2021.05.15 | 全部地域。 |
2021-04
功能名称 | 功能描述 | 发布时间 | 发布地域 | 相关文档 |
DataWorks数据集成支持实时同步到AnalyticDB for MySQL 3.0。 | 实时同步至AnalyticDB for MySQL 3.0,可以在一个任务中一次同步多个表的实时信息,实时同步时已经自动支持添加列的DDL同步,即源端增加列时目标端的表也会增加相应列。 | 2021.4.20 | 全部地域。 | |
DataWorks数据开发模块新增FTP Check功能节点。 | FTP Check节点可用于通过FTP协议周期性检测指定文件是否存在。如果文件存在,则启动调度下游任务;如果不存在,则按照配置的间隔时间重复检测,直到满足检测的停止条件时停止检测。该节点通常作为DataWorks调度系统与其他调度系统之间传递信号使用。 | 2021.4.15 | 华北2(北京)、华东2(上海)、华东1(杭州)、华南1(深圳)、华北3(张家口)、西南1(成都)、新加坡。 |
2021-03
功能名称 | 功能描述 | 发布时间 | 发布地域 | 相关文档 |
DataWorks企业版新增自定义角色功能。 | 自定义角色功能,可以方便您针对实际业务制定权限功能。 | 2021.3.22 | 全部地域。 | |
DataWorks数据集成支持kerberos认证文件机制。 | 对于Hive、kafka等数据源,有时是需要kerberos认证文件来进行访问的,数据集成支持了kerberos认证文件机制,可以自由上传数据源相关的认证文件,并在配置时使用,保证访问数据源的安全性。 | 2021.3.16 | 全部地域。 | |
DataWorks控制台新增新版安全中心功能。 | DataWorks的安全中心,帮助您快速构建平台的数据内容、个人隐私等相关的安全能力,满足企业面向高风险场景的各类安全要求(例如,审计),无需您额外配置即可直接使用该功能。 | 2021.03.13 | 全部地域。 | |
运维中心新增DAG聚合视图及上下游分析功能。 | 您可以按照工作空间、责任人、优先级等维度,对DAG图中的节点进行聚合,查看目标维度节点的总数量。同时,也可以对指定节点进行上下游分析,快速定位阻塞当前节点运行的上游节点,并查看当前节点的下游节点数量,掌握任务的运行情况。 | 2021.03.10 | 华南1(深圳)地域。 |
2021-02
功能名称 | 功能描述 | 发布时间 | 发布地域 | 相关文档 |
数据发现支持批量创建元数据采集器。 | 支持批量创建元数据采集器,帮助您在数据地图中快速查看表的内部结构及与表相关的关联关系。 | 2021.02.17 | 全部地域。 | |
迁移助手支持Airflow。 | 迁移助手支持将Airflow调度系统中的任务迁移至DataWorks。 | 2021.02.16 | 全部地域。 | |
数据服务新增计量API。 | 数据服务的计量API,包括计量大屏及计量详情。为您提供了各类可视化图表及统计数据,包括工作空间下的API总数、总调用次数等信息,帮助您从全局角度了解API的调用情况。同时,可以针对单个API分别查看监控图表,获取API网关状态码、数据服务错误码等详细信息。 | 2021.02.16 | 华北2(北京)。 | |
DataWorks控制台新增开放平台功能。 | DataWorks控制台的开放平台功能,为您展示OpenAPI的计量报表,方便您查看指定日期OpenAPI的调用详情。 | 2021.02.13 | 全部地域。 |
2021-01
功能名称 | 功能描述 | 发布时间 | 发布地域 | 相关文档 |
DataWorks数据集成新增支持HTTP形式的数据源。 | 某些数据源只能以HTTP REST API形式对外提供数据,或者接收数据。针对这类数据源,数据集成支持离线形式读取和写入数据。 | 2021.1.4 | 全部地域。 |
2020年
2020-12
功能名称 | 功能描述 | 发布时间 | 发布地域 | 相关文档 |
DataWorks数据集成新增全增量同步到Elasticsearch。 | 将指定的整个数据库全部或者部分表一次性的全部同步至ElasticSearch,并且支持后续的实时增量同步模式,将新增数据持续同步至ElasticSearch。 | 2020.12.30 | 全部地域。 |
2020-09
功能名称 | 功能描述 | 发布时间 | 发布地域 | 相关文档 |
DataWorks数据集成新增实时同步功能。 | 提供的实时数据同步功能,可以将源端数据库中部分或全部表的数据变化实时同步至目标数据库中,实现目标库实时保持和源库的数据对应。利用解决方案可以实现全增量一体化同步。 | 2021.4.15 | 全部地域。 |
2020-07
功能名称 | 功能描述 | 发布时间 | 发布地域 | 相关文档 |
OpenAPI公测,自定义DataWorks功能。 | DataWorks开放租户、元数据、数据开发、运维中心、数据质量、数据服务等API,让您更加自由地使用DataWorks。 说明 您需要购买DataWorks企业版及以上版本,才可以使用OpenAPI功能。 | 2020.07.16 | 华东1(杭州)、华东2(上海)、华南1(深圳)、华北2(北京)和华北3(张家口)。 | |
迁移助手公测。 | 迁移助手支持迁移周期任务、手动任务、资源、函数、数据源、表元数据、临时查询和组件等对象。您可以根据业务需求,选择全量导出、增量导出或自选导出等方式导出DataWorks中的开发成果。 | 2020.07 | 东1(杭州)、华东2(上海)、华北2(北京)、华北3(张家口)、华南1(深圳)、西南1(成都)和新加坡。 | |
数据服务更新。 | DataWorks数据服务更新发布全新的目录树结构。 | 2020.07.28 |
|
2020-06
功能名称 | 功能描述 | 发布时间 | 发布地域 | 相关文档 |
从数据源查询功能。 | 您可以在编辑电子表格页面,使用从数据源查询功能,快速从数据源读取数据进行分析。 | 2020.06.09 | 华东2(上海)。 |
2020-04
功能名称 | 功能描述 | 发布时间 | 发布地域 | 相关文档 |
运维中心支持电话告警功能。 | 运维中心支持短信、邮件和电话三种报警方式。 重要 您需要购买DataWorks专业版及以上版本,才可以使用电话告警功能。 | 2020.04.15 | 全部地域。 |