Flink功能发布记录（2024年9月12日） - 实时计算Flink版

本文为您介绍2024年9月11日发布的实时计算Flink版的重大功能变更和主要缺陷修复。

重要

本次升级计划在全网分步骤完成灰度，具体升级计划，请关注实时计算控制台页面右侧的最新公告。如果您不能使用相关新功能，说明您的账号暂未完成灰度。如果您需要尽快升级，请提交工单告知我们，我们将结合实际情况进行安排。

概述

2024年9月11日，我们正式对外发布实时计算Flink版新版本，包含平台升级、引擎更新、连接器更新、性能优化以及缺陷修复。

平台侧

本次平台功能更新我们聚焦于提升您的使用体验和系统稳定性，同时增强安全性和运维效率。以下是本次更新的主要亮点：

支持Flink CDC 3.0的YAML数据摄取作业开发：Flink CDC作为数据库数据实时同步的方案，从诞生到现在受到了广大开发者和企业用户的支持和应用。随着阿里巴巴向Apache基金会正式捐赠Flink CDC项目，也标志着Flink CDC从捕获数据源变更的Flink Source变为以Flink为基础的流式ETL数据摄取框架。因此，新增数据摄入模块，提升对整个Flink CDC能力的支持。
任务编排能力优化：丰富了任务编排的报警能力，支持通过云监控进行钉钉、电话等多种方式告警；同时支持在任务编排中使用动态变量，以解决周期性运行同一份代码时需要让代码按预设的时间周期进行计算的问题。通过不断加强任务编排能力期待能让您更好地使用该功能。
密钥托管能力扩展：随着JAR作业数量的增加，原本被广泛应用于SQL作业的密钥托管能力也被JAR作业所需要，因此增加了对JAR和Python作业使用密钥的支持。同时某些信息（如IP地址）可能会被多个作业使用但不属于密钥的范畴，为了解决这类问题，密钥托管正式更名为变量管理，包含了原有的密钥托管以及对明文变量的管理，以更好地体现该功能的能力。
控制台一级目录调整：随着更多能力模块的加入，原有平铺的目录展示方式无法更直观地让您定位到需要的模块。因此，对开发控制台左侧导航栏的排布进行了优化，提高了导航的直观性和易用性，让您更轻松地找到所需的功能。

引擎侧

引擎侧正式对外发布VVR 8.0.9，该版本是基于Apache Flink 1.17.2的企业级Flink引擎，主要包含以下变更：

MySQL CDC连接器增加了Binlog解析线程参数，方便您根据需要提升Binlog并发解析能力。
Kafka连接器增加对Zstandard（Zstd）压缩算法的依赖，提升了数据传输效率，同时新增内置Protobuf格式支持，便于处理结构化数据。
Redis连接器的Sink性能得到优化，处理速度得到提升，同时支持配置连接池参数，提供了更灵活的连接管理。
Paimon Sink支持Delete Action，在局部更新的行为指定上更加易用。
Flink批作业支持使用Celeborn远程Shuffle服务，可以将Shuffle数据存储在高性能集群中，突破Flink节点磁盘容量限制，增强超大规模数据处理能力，同时保持作业稳定和经济效益。

该版本主要特性详情及相关文档详见下方表格，我们将在全网进行分步骤的灰度，灰度完毕后，欢迎您将作业使用的引擎升级至此版本，具体操作请参见作业引擎版本升级。期待您的使用体验反馈！

主要功能介绍

特性	详情	相关文档
新增数据摄入模块	基于Flink CDC 3.0，通过开发YAML作业的方式可以实现将数据从源端同步到目标端的数据摄入工作。	数据摄入YAML作业开发（公测中）
对接DLF 2.0	创建Paimon Catalog时，当元数据存储类型选择DLF且使用DLF为2.0时，无需您再填写AccessKey等信息。	管理Paimon Catalog
开通时访问相关权限优化	首次开通Flink工作空间时，访问资源授权增加DLF相关权限，用于访问DLF相关Catalog，提升DLF 2.0使用体验。已开通用户已默认增加DLF权限，无需您额外关注。	DLF相关权限操作
快速创建Session集群	运行查询脚本时（查询脚本页面），当无可用Session集群时，支持通过配置关键参数快速创建执行环境，直接运行脚本。	暂无
任务编排能力优化	丰富了工作流的报警能力，支持通过云监控进行钉钉、电话等多种方式的事件告警。	云监控事件告警
密钥托管能力扩展	密钥托管更名为变量管理，支持设置明文或密文变量，支持JAR和Python作业使用变量。	变量管理
控制台一级目录调整	引入数据摄入等新模块，并优化了开发控制台左侧导航栏布局，方便您更快地找到所需要的模块。	暂无
MySQL连接器性能增强	开放对Binlog解析的线程配置，提升异步解析能力。	MySQL
Kafka连接器性能增强	新增Zstandard（Zstd）压缩算法依赖。支持了Protobuf数据格式。	消息队列Kafka
Redis连接器性能增强	优化Sink缓存能力，支持批量数据写入。支持配置连接池。	云数据库Redis
SLS连接器重构	实现FLIP-27接口新数据源，自适应shard变化，尽可能保证Shard在所有的Source并发上分布均匀。支持动态检测Shard变化时间间隔。	日志服务SLS
Paimon连接器增强	支持配置收到回撤（-D/-U）类型消息时的期望语义，增强Delete Action处理性能。	流式数据湖仓Paimon
MongoDB扩展维表关联读取能力	维表支持读取内置`ObjectId`类型的`_id`字段。	MongoDB
StarRocks连接器稳定性增强	优化网络异常情况下的写入重试机制，调整了`sink.max-retries`参数默认值，在网络状态不佳时，增强了数据写入的稳定性。	StarRocks
HBase连接器优化	支持在写入操作中忽略`null`字段，可以节省存储空间，适应不同的数据需求。	云数据库HBase
Lindorm连接器优化	新增结果表数据写入特性，允许在更新操作中排除特定列。	云原生多模数据库Lindorm
支持远程Shuffle服务	Flink批作业在开启远程Shuffle服务（公测阶段免费开放）后，Shuffle数据将存储到高性能的Apache Celeborn集群中，作业不再受限于Flink计算节点的磁盘容量，从而增强超大规模数据的处理能力，同时保持作业的高稳定性和成本效益。	批作业开启远程Shuffle服务（公测）

主要缺陷修复

修复了MySQL CDC指定消费位点消费，在主从切换发生后，无法正常从Checkpoint恢复的问题。
修复了StarRocks连接器在VVR 8.0.8中使用CTAS时报java.lang.ClassNotFoundException的问题。
修复了控制台数据连接中Elasticsearch连接器支持版本缺少V8版本的问题。
优化了Hologres连接器在启动时强制检查Table ID的问题。