Flink功能发布记录（2024年1月4日） - 实时计算Flink版

本文为您介绍2024年01月04日发布的实时计算Flink版的重大功能变更和主要缺陷修复。

重要

本次升级计划在全网分步骤完成灰度，具体升级计划，请关注实时计算控制台页面右侧的最新公告。如果您不能使用相关新功能，说明您的账号暂未完成灰度。如果您需要尽快升级，请提交工单告知我们，我们将结合实际情况进行安排。

概述

2024年01月04日正式对外发布实时计算Flink版的引擎新版本VVR 8.0.5，包含连接器更新、性能优化以及缺陷修复。

该版本是基于Apache Flink 1.17.2的企业级Flink引擎。在该版本中，我们对MySQL源表CDC在指定位点（指定偏移量和时间戳）后的数据同步速度进行了优化；对于MongoDB连接器，源表CDC支持表结构变更同步，并新增了对MongoDB作为维表的支持；JDBC连接器新增对Postgres SQL的UUID和JSONB类型的支持；StarRocks结果表支持JSON类型；另外Hologres连接器中的JDBC模式支持攒批时不进行去重，满足在一定吞吐优化下的数据完整性；新增了对PolarDB Postgres （兼容Oracle）版作为结果表写入支持；缺陷修复上，我们修复了Apache Flink 1.17.2版本上发现的多个缺陷（包括Apache社区已修复待发布的缺陷），同时还修复了在引擎上发现的问题，旨在提高系统的稳定性和可靠性。

我们将在全网进行分步骤的灰度，灰度完毕后，欢迎您将作业使用的引擎升级至此版本，具体操作请参见作业引擎版本升级。期待您的使用体验反馈！

主要功能介绍

特性	详情	相关文档
优化MySQL CDC指定偏移量或者时间戳进行启动的数据读取速度	可以更快速地定位到开始要读取的数据，减少等待时间。	MySQL
MongoDB作为源表支持表结构变更同步和自动加列	MongoDB作为源表时可以通过CTAS或CDAS语句将表结构变更同步到下游存储，支持自动加列。	CREATE TABLE AS（CTAS）语句 CREATE DATABASE AS（CDAS）语句
支持将MongoDB作为维表	MongoDB连接器支持作为维表进行关联查询。	MongoDB（公测中）
支持MongoDB Catalog	通过Catalog的方式注册元数据后，支持Schema推导，在创建SQL时，无需再使用DDL创建MongoDB源表。	管理MongoDB Catalog（公测中）
JDBC连接器支持更多数据类型	新增对Postgres SQL的UUID和JSONB类型的支持。	JDBC
Hologres连接器支持SSL连接、Bulk Load模式写入和攒批去重。	通过SSL连接，整体读写链路将更加安全。 Bulk Load模式写入可以大幅度减少对于Hologres写入的压力。 jdbc及jdbc_fixed模式支持攒批去重，可以有效提高数据一致性和数据库性能、降低网络开销。	实时数仓Hologres
JDBC模式消费Binlog不再需要设置slotname	Hologres 2.1版本开始，JDBC模式消费Binlog不再需要设置slotname。	实时数仓Hologres 实时计算Flink版实时消费Hologres
新增支持PolarDB Postgres （兼容Oracle）连接器	支持将数据写入PolarDB Postgres（兼容Oracle）。	PolarDB PostgreSQL版（Oracle语法兼容1.0）
StarRocks支持更多数据类型	StarRocks结果表支持JSON类型。	暂无
RocketMQ结果表支持partitionField参数	支持通过partitionField参数指定字段名，将该字段作为分区列。在数据写入时，会根据该列值计算Hash值，Hash值相同的数据会写入同一个分区。	云消息队列 RocketMQ 版
Elasticsearch连接器支持8.x和忽略text类型字段的.keyword后缀	支持将数据写入8.x版本的Elasticsearch 维表支持忽略text类型字段的.keyword后缀	Elasticsearch
MySQL连接器支持忽略NULL值	Sink支持忽略更新写入数据中的NULL值。	MySQL