Flink功能发布记录（2024年11月21日） - 实时计算Flink版

本文为您介绍2024年11月21日发布的实时计算Flink版的重大功能变更和主要缺陷修复。

重要

本次升级计划在全网分步骤完成灰度，具体升级计划，请关注实时计算控制台页面右侧的最新公告。如果您不能使用相关新功能，说明您的账号暂未完成灰度。如果您需要尽快升级，请提交工单告知我们，我们将结合实际情况进行安排。

概述

2024年11月21日正式对外发布实时计算Flink版新版本，包含平台升级、引擎更新、连接器更新、性能优化以及缺陷修复。

平台侧

本次平台功能更新我们聚焦于提升您的使用体验和系统稳定性，同时增强运维效率。以下是本次更新的主要亮点：

支持混合计费模式：该模式结合了包年包月和按量计费的优势，在固定资源的基础上增加了弹性资源上限。可以解决短期高峰预留过多资源的问题，又缓解了完全依赖弹性资源而无法申请到所需资源的困境。同时，该模式配合平台的自动调优能力，能够将自动调优模式节省的资源转化为成本收益。
控制台概览页重构：重构概览页展示内容，可以查看到更多常用功能和资源作业总览信息。
支持重命名作业：支持修改已创建的作业草稿的名称。
版本收敛能力优化：随着Flink新版本的不断发布和时间的推移，部分旧版本逐渐停止服务，为了保证作业版本平稳升级，我们将为您保存最近使用的EOS版本，方便您在必要时候回滚。

引擎侧

引擎侧正式对外发布VVR 8.0.10，该版本基于Apache Flink 1.17.2的企业级Flink引擎，并在社区最新完成的缺陷修复上继续优化和增强，主要包括以下变更：

新能力

引擎侧支持JDK 11：提供了更多的JDK版本选择，JDK 8和JDK 11的实时计算引擎VVR小版本之间均不提供兼容性保证。
SelectDB连接器公测：支持了云数据库SelectDB版的结果表写入。

说明

上述新功能目前为实验性功能，不保障服务等级协议（SLA），请谨慎用于生产环境。

能力增强

SQL语义增强：支持了使用处理时间（Processing Time）进行 Temporal Join，可以将事实表中的每条数据与维表的最新数据进行关联处理。其与事件时间（Event Time）不同，处理时间并不关注事件实际发生的时刻，而是依据数据到达处理系统的时间点。
SQL内置函数增强：支持百分位计算函数PERCENTILE(expr, percentage[, frequency])。
YAML CDC数据摄入增强：CDC YAML作业新增Kafka Source连接器，支持Debezium JSON和Canal JSON格式数据；Paimon和StarRocks连接器支持来自MySQL上游的truncate和drop table事件；支持分库分表场景下精度不同的Decimal和Timestamp字段合并。
CTAS/CDAS鉴权支持增强：增加了在CTAS/CDAS中使用Paimon对接DLF 2.0的能力。
StarRocks连接器增强：支持BIGINT UNSIGNED和VARBINARY数据类型。

性能提升

CDC全增量一体化性能优化：利用流批融合技术优化了MySQL CDC到Paimon数据库的实时全增量数据摄入，显著提升了入湖性能。
全托管存储优化：优化了全托管存储的快照恢复耗时和成本，提高了存储效率。

体验优化

连接器体验优化：为了防止误用，屏蔽了不必要的Debezium配置参数；优化了Hologres连接器的超时参数，降低了部署阶段的重试次数，从而提升了入仓体验。
SQL体验优化：增强了SQL深度检查中对SinkMaterializer算子的提示和建议。

安全提升

Paimon Catalog安全增强：在创建Catalog后，fs.oss.accessKeySecret参数进行密文显示，以确保数据的安全性。

该版本主要特性详情及相关文档详见下方表格，我们将在全网进行分步骤的灰度，灰度完毕后，欢迎您将作业使用的引擎升级至此版本，具体操作请参见作业引擎版本升级。期待您的使用体验反馈！

主要功能介绍

特性	详情	相关文档
引擎支持JDK 11	引擎全面支持JDK11，助力开发者利用新特性优化Java应用，拓宽运行环境选择，提升平台灵活性与兼容性。	JAR作业开发 Python作业开发自定义标量函数（UDSF）
维表Join支持Keyed-Ordered模式	为满足业务场景中异步获取外部系统数据并按UpsertKey顺序处理的需求，引入Key-Ordered模式，该模式弥补了现有Ordered和Unordered模式的不足。	重要参数说明
YAML CDC数据摄入增强	YAML中支持添加Kafka作为Source，从而增强了基于YAML配置的系统或应用程序处理Kafka数据流的灵活性。	消息队列Kafka 数据摄入YAML作业开发（公测中）
SLS连接器优化	采用退避策略，增强SLS连接器的连接稳定性和可靠性。	暂无
StarRocks连接器增强	支持BIGINT UNSIGNED、VARBINARY数据类型。 CHAR类型长度能够自动扩展至三倍，以适配MySQL和StarRocks之间的编码差异。	StarRocks
SQL语义增强	支持使用Processing Time进行Temporal Join，利用处理时间属性，将事实表数据与维表最新数据关联。	Processing Time Temporal Join语句
SQL内置函数增强	新增对PERCENTILE函数的支持。	支持的函数
Hive Catalog优化	使用全托管存储的工作空间支持创建Hive Catalog，并在创建时直接上传相关配置文档，并管理文件的生命周期。	管理Hive Catalog
CTAS/CDAS鉴权支持增强	在CTAS/CDAS中新增了使用Paimon对接DLF 2.0的能力。	CREATE TABLE AS（CTAS）语句 CREATE DATABASE AS（CDAS）语句
控制台体验优化	重构控制台概览页内容，增加资源作业总览、常用功能入口、常用文档等，方便您快速掌握作业状态、访问核心功能以及查阅必要文档。	暂无
新增混合计费模式	结合了按量付费的灵活性与包年包月的成本效益，提供一种更优化的计费策略。	混合计费
日志归档能力优化	定期清理作业中已过有效期的历史归档日志，减少额外的存储成本。	查看历史作业实例日志
支持SelectDB连接器	云数据库SelectDB版是基于Apache Doris的新一代云原生实时数仓服务，支持使用SelectDB连接器写入数据至云数据库SelectDB版。	SelectDB（公测中）

主要缺陷修复

连接器缺陷

MySQL CDC数据同步：修复在开启OSS读取binlog时，全量转增量读取可能出现的数据丢失问题。
Redis数据写入：修复了VVR 8.0.9版本Redis Connector buffered writer缺陷，导致无数据输出的问题。
OSS写入性能：优化了VVR 8.0.7及以上版本写入OSS的性能问题。
YAML作业时间戳：修复了YAML作业写出到Paimon时timestamp类型时区转换的问题。

SQL缺陷修复

Source Merge配置：修复了设置table.optimizer.source-merge.enabled为true后作业无法启动的问题。
Minibatch Interval配置：修复了VVR 8.0.7版本中Minibatch Interval配置不生效的问题。

兼容性与依赖问题修复

Connector类加载：修复了内置连接器使用附加依赖JAR时启动报connector class not found异常的问题。
IDEA本地运行：解决了本地IDEA使用MySQL CDC JAR报错ClassNotFoundException MySqlSourceReaderMetrics的问题。

动态配置缺陷修复

修复了偶发情况下动态更新不生效的问题。