本文为您介绍2023年6月21日发布的实时计算Flink版的重大功能变更和主要缺陷修复。
概述
2023年6月21日正式对外发布实时计算Flink版的新版本，包含平台改版和引擎更新、连接器更新、性能优化以及缺陷修复。
引擎侧将正式对外发布VVR 6.0.7版本，该版本是基于Apache Flink 1.15.4的企业级Flink引擎。在该版本中，我们正式推出了对阿里云MaxCompute以及SLS的Catalog支持，您可以使用持久表的方式进行数据表的定义与使用。作为一个预览功能，本次发布包含了Apache Paimon 0.4.0的更新，该更新增加了Flink CDC入湖能力和完整的CTAS、CDAS Schema Evolution支持，在流式读写层面，增强了读写顺序性与消费的灵活性，同时改进了读写性能。另外，加强了数据管控功能，例如Snapshot清理、自动删除分区，并添加了对Parquet文件格式的支持。除此之外，我们正式对外发布了VVR 4.0.18版本，该版本修复了诸多缺陷，也是推荐VVR 4.x升级的最终版本。
平台侧将进行多项常用功能的改版，主要集中在审计日志、Kerberos支持、监控告警增强等能力的建设，优化了部分页面的展示和体验。
我们将在两周内在全网进行分步骤的灰度，灰度完毕后的客户和区域平台能力将完成升级，并且可以在作业选择引擎的列表中看到新引擎版本，欢迎您将作业使用的引擎升级至此版本，并期待您的使用体验反馈！
主要功能介绍
特性 | 详情 | 相关文档 |
Paimon Catalog支持使用CTAS和CDAS语句实现数据实时入湖 | 方便用户数据实时进入数据湖Paimon。 | |
MySQL连接器结果表和维表能力增强 | 通过此增强，从此版本起，我们推荐您将之前使用阿里云RDS连接器的作业逐步迁移至MySQL连接器。 | |
MySQL源表CDC增量读取支持无主键的表 | 此次更新可以让更多种类的MySQL表作为CDC源表来使用。 | |
Tair连接器作为结果表时，支持过期时间设定与incr模式 | 提供更灵活的Tair结果表功能，可设置数据过期时间，同时还支持设置increment等操作。 | |
支持Hive Kerberos | 支持将Flink Jar或Python作业写入开启Kerberos认证的Hive集群中。 | |
审计日志 | 平台对接阿里云审计服务，您可以在审计服务平台查看到用户在平台上的操作记录。 | |
智能诊断页面优化 | 将智能诊断放置在作业运维信息中而不再使用弹窗方式，可展示更多更丰富的诊断信息。通过健康分和作业诊断的能力，可以让您更便捷的了解作业情况。 | |
新增修改人信息 | 在作业运维界面新增修改人字段，更方便了解作业操作情况。 | 无 |
版本标记 | 对所有引擎版本设置标记，建议您升级到稳定版本或推荐版本。 | |
成员管理API开放 | 开放成员管理API，可通过API完成自动化授权。 | 无 |
页面体验优化 |
| 无 |
告警能力增强 |
| |
Hudi连接器版本升级 | 升级为Apache Hudi 0.13.1。 | 无 |
Paimon连接器版本升级 | 升级为Apache Paimon 0.4.0。 | |
MaxCompute连接器支持独享Tunnel | 通过独享Tunnel可以让数据传输更稳定高效。 | |
DataHub连接器源表性能优化 | 在一定场景下提升性能幅度达到290%左右。 | 无 |
表格存储Tablestore连接器支持写入时序数据 | 表格存储的时序模型针对时间序列数据的特点进行设计，支持写入Tablestore时序数据。 | 无 |
Hive Catalog支持Hive 3.x版本的DLF | 对于Hive 3.x版本，支持DLF作为Hive Catalog的元数据管理中心。 | |
支持SLS Catalog | 通过Catalog的方式注册元数据后，在创建SQL时，无需再频繁使用DDL创建SLS源表。 | |
支持MaxCompute Catalog | 通过Catalog的方式注册元数据后，在创建SQL作业时，无需再频繁使用DDL创建MaxCompute表。 |
重要缺陷修复
修复MySQL CDC连接器结合CTAS、CDAS语句消费源表数据时，出现的内存溢出问题。
修复使用Hologres连接器作为维表时的空指针异常问题。
修复使用Hologres连接器作为源表时的内存溢出问题。