本文为您介绍2024年7月22日发布的实时计算Flink版的重大功能变更和主要缺陷修复。
概述
2024年7月22日，我们正式对外发布实时计算Flink版新版本，包含平台升级、引擎更新、连接器更新、性能优化以及缺陷修复。
平台侧
本次平台功能更新我们聚焦于提升您的使用体验和系统稳定性，同时增强安全性和运维效率。以下是本次更新的主要亮点：
支持自定义角色以及细粒度权限：支持添加自定义角色，使您能够根据实际业务需求灵活定义角色和权限点，并为这些角色分配细粒度的权限，以满足不同团队和个人的特定访问需求，增强权限管理灵活性以及作业操作安全性。
开发运维效率提升：优化作业详情和作业资源配置界面，展示更加清晰易懂；支持界面化创建MaxCompute Catalog，帮助您更快地配置和管理Flink作业，提升数据管理和开发效率。
引擎侧
引擎侧正式对外发布VVR 8.0.8，该版本是基于Apache Flink 1.17.2的企业级Flink引擎，主要包含以下变更：
在连接器方面，对于实时构建Elasticsearch索引的场景，Elasticsearch连接器支持配置收到回撤类型消息时的行为，同时放宽了queryMaxdocs的限制；对于构建实时数仓的场景，Hologres连接器支持为列设置不同删除策略；SLS连接器支持latest和earliest消费模式；MySQL连接器支持指定RDS Endpoint。
在SQL方面，新增URL_DECODE和URL_ENCODE内置函数。
在性能提升方面，提升了Paimon维表关联的性能，优化了MySQL CDC全增量写入Hologres的速度，提升了MaxCompute源表读取速度并优化写入对集群的压力。
在安全方面，在作业总览的拓扑图中对密码进行了加密处理，确保敏感信息的安全。
该版本主要特性详情及相关文档详见下方表格，我们将在全网进行分步骤的灰度，灰度完毕后，欢迎您将作业使用的引擎升级至此版本，具体操作请参见作业引擎版本升级。期待您的使用体验反馈！
主要功能介绍
特性 | 详情 | 相关文档 |
支持创建自定义角色 | 支持根据实际业务需求灵活定义角色以及配置细粒度的权限，增强权限管理的灵活性以及作业操作的安全性。 | |
优化作业详情界面 | 在状态总览页签操作栏的作业详情中，可以查看您配置的作业启动参数信息。 | 无。 |
优化资源配置界面 | 在部署详情页签资源配置区域会提示资源配置的最大值。 | 无。 |
Elasticsearch连接器能力增强 |
| |
SLS连接器支持设置源表启动模式。 | 源表可以从最新位点或最早位点开始消费SLS数据。 | |
PyFlink Docker镜像升级 | 升级PyFlink的基础Docker镜像，提高了对不同Python版本和glibc版本的兼容性。 | 不涉及 |
新增URL_DECODE和URL_ENCODE内置函数 | 提供了URL编码和解码的内置函数，方便您使用。 | |
MySQL连接器支持指定RDS Endpoint | 提供MySQL CDC读取OSS上Binlog归档日志的功能。 | |
Hologres连接器支持局部更新 | Hologres连接器支持为列设置不同删除策略，例如删除整行或者将非主键字段设置为Null，后者适用于局部更新操作在执行删除操作时不影响其他列的场景。 | |
LookupJoin支持自定义Partitioner | 支持配置维表连接时的Shuffle策略，可以有效提高数据处理效率。 | |
MaxCompute连接器能力增强 | MaxCompute支持使用Arrow接口读取数据，并允许动态分配分片，提升整体读取性能。 |
主要缺陷修复
修复了Paimon部分更新时多个流写同一表冲突的问题。
修复了MySQL CDC在解析大量Binlog时可能发生OOM的问题，现在会抛出异常并触发作业Failover，而不是静默重试。
优化了GeminiStateBackend相关OOM异常的处理，现在会抛出异常并触发作业Failover，而不是静默重试。
修复了RocketMQ连接器消费状态无法在RocketMQ控制台正常显示的问题。
修复了Hologres连接器源表在有状态启动时因表结构变更（例如TRUNCATE操作）导致的快照恢复失败问题。
修复了StarRocks连接器java.lang.NoClassDefFoundError: StringUtils错误。
修复了Apache Flink 1.17.2版本的所有缺陷，详情请参见Apache Flink 1.17.2 Release Announcement。