本文为您介绍2021年8月4日发布的实时计算Flink版的重大功能变更和主要缺陷修复。
平台重大功能变更
作业停止后会清理该作业生成的所有Checkpoint,因此如果您需要恢复作业的状态,可以采取以下任何一种方式:
暂停作业后再恢复作业。
停止后从Savepoint恢复作业。
新增
开发类功能
SQL作业支持配置细粒度资源,即可以配置CPU和内存到Share Slot上。详情请参见配置作业部署信息。
上线作业时,支持生成开发版本,您可以进行版本比较、回滚历史版本等操作。详情请参见管理作业版本。
支持Hologres元数据,可以通过注册Hologres Catalog直接访问下游Hologres表。详情请参见管理Hologres Catalog。
引擎版本命名格式变更为vvr-<vvr版本号>-flink-<flink版本号>。
支持提交多个不同引擎版本的SQL作业。目前仅支持vvr-3.0.3-flink-1.12和vvr-4.0.8-flink-1.13两个版本。
重要从VVR 3.0.3版本(对应Flink 1.12版本)开始,控制台支持同时运行多个不同引擎版本的SQL作业。如果您的作业已使用了Flink 1.12及更早版本的引擎,您需要按照以下情况进行处理:
Flink 1.12版本:停止后启动作业,系统将自动将引擎升级为vvr-3.0.3-flink-1.12版本。
Flink 1.11或Flink 1.10版本:手动将作业引擎版本升级到vvr-3.0.3-flink-1.12或vvr-4.0.8-flink-1.13版本后重启作业,否则会在启动作业时超时报错。
运维类功能
支持自定义设置报警频率。
支持设置Webhook报警。
优化
优化上传JAR包的方式,提高上传速度。
下载到SLS的日志中新增作业名称标签,方便定位作业问题。
VVR 4.0.8版本重大功能变更
支持Holo Catalog。
支持细粒度资源配置。
云数据库RDS MySQL连接器 JDBC版本升级,兼容更多字符集。
MySQL的CDC 连接器支持多并发读取全量数据、无锁算法和断点续传功能。
云原生数据仓库 AnalyticDB MySQL 版3.0 连接器支持ON Duplicate Key Update语义。
VVR 4.0.8版本主要缺陷修复
修复Kafka currentEmitEventTimeLag在某些Partition没有数据时显示Log.MAX的异常。