本文为您介绍2023年4月13日发布的实时计算Flink版的重大功能变更和主要缺陷修复。
概述
2023年4月13日正式对外发布实时计算Flink版的新版本，包含平台改版和引擎更新、连接器更新、性能优化以及缺陷修复。
引擎侧将正式对外发布VVR 6.0.6版本，该版本是基于Apache Flink 1.15.3的企业级Flink引擎。作为预览型功能，自本版本起，阿里云实时计算Flink提供了Apache Paimon (incubating)，这是一项流式数据湖存储技术，提供高吞吐、低延迟的数据摄入、流式订阅和实时查询能力。
平台侧将进行多项常用功能的改版，更改了开发控制台的一级目录和作业开发运维的流程，优化了产品的使用体验，增强了报警能力。
灰度完毕后，平台能力将完成升级。作业引擎版本将在两周内升级，升级完成后可以在作业的引擎列表中看到新引擎版本。欢迎您体验平台侧的新能力，将作业使用的引擎升级至新版本，期待您的反馈和使用体验。
功能介绍
特性 | 详情 | 相关文档 |
支持Apache Paimon流式数据湖 | 作为预览型功能，引擎支持了基于阿里云OSS的Paimon的数据读写。 | |
支持Apache Paimon Catalog | 支持您基于内置的Apache Paimon Catalog，通过Flink SQL构建基于Flink的实时数据湖方案。 | |
支持OSS-HDFS流式写入 | 允许将数据从流式写入OSS-HDFS，提供更多数据存储支持。 | |
监控指标调整 |
| |
支持Tair结果表 | 支持Tair结果表，提供更多数据存储选项。 | - |
流SQL Explain功能增强 | 支持plan_advice模式，提供更详细的优化建议。 | 暂无 |
动态CEP优化 | 支持基于Groovy表达式的Condition，优化了NFA和SharedBuffer的实现，减少了Timer创建次数，提高了性能。 | |
支持Flink ML | 作为预览型功能，引擎支持了Flink ML，提供更方便的实时机器学习功能。 | - |
作业开发流程优化 | 作业开发页面优化为SQL开发页面，提供SQL开发的平台：
| |
Jar和Python作业部署优化 | 优化创建流程，Jar和Python作业可直接在作业运维页面部署。 | |
作业启动流程优化 | 作业的资源和Flink Conf的相关配置放置在部署详情页面，您可以在不停止作业的情况下调配资源，启动阶段仅需要设置启动位点。 | |
新增元数据页面 | Flink社区不推荐使用临时表，建议您使用Catalog来创建SQL作业，从而避免重复使用DDL。因此，本版本将元数据能力继续增强，您可以在SQL作业中更多使用元数据，方便管理SQL作业。 | 暂无 |
SQL作业调试流程优化 | 优化了SQL作业的调试流程，不再需要设置调试的Session集群，而是在作业调试阶段选择调试作业要使用的Session集群，避免作业多版本情况下需要频繁更换调试集群的问题。 | |
新增安全页面 | 将用户授权与密钥托管（原变量替换）的页面整合成为一个安全页面，您可以在安全页面完成平台安全相关设置。 | |
新增连接器页面 | 连接器作业独立页面放置，方便您查看不同引擎版本支持的连接器类型以及版本，同时管理自己的自定义连接器。 | |
提供作业失败的告警 并支持电话告警和联系人搜索能力 | 监控告警功能升级：
| |
支持角色账号登录 | 支持您使用角色账号登录Flink控制台，不支持对角色账号设置权限，默认使用owner权限。 | - |
支持网络探测能力 | 支持您通过输入IP或者域名的方式检测Flink作业运行的环境与您的上下游系统是否联通。 | 暂无 |
支持自定义Catalog | 通过Catalog的方式注册元数据后，在创建SQL的时候不需要再频繁使用DDL创建临时表，实时计算开发控制台已经内置了部分Catalog，您也可以自定义Catalog JAR后注册并使用。 | - |
智能诊断能力增强 | 本次提供了对作业开发过程和作业运行过程中产生的错误日志智能分析的能力，在日志界面查看信息时，系统会自动分析日志内容并提供可执行的操作建议。 | |
SLS连接器客户端升级 | 优化了SLS连接器的性能和稳定性。 | 暂无 |
CEP SQL功能扩展 | CEP SQL支持循环连续性声明和UNTIL语法连用。 | 暂无 |
缺陷修复
修复作业调试时，针对NULL数据展示为TRUE的缺陷。
修复注册多个元数据服务时，因为其中一个元数据服务不可用导致所有元数据服务异常的问题。
修复作业从Session集群切Pre-Job时状态恢复报错的问题。
修复Hologres维表对Hologres源表进行Join时的验证报错问题。
修复SLS源表消费位点异常回退的问题。