全部產品
Search
文件中心

Realtime Compute for Apache Flink:2024-01-04版本

更新時間:Jul 13, 2024

本文為您介紹2024年01月04日發布的Realtime ComputeFlink版的重大功能變更和主要缺陷修複。

重要

本次升級計劃在全網分步驟完成灰階,具體升級計劃,請關注Realtime Compute控制台頁面右側的最新公告。如果您不能使用相關新功能,說明您的帳號暫未完成灰階。如果您需要儘快升級,請提交工單告知我們,我們將結合實際情況進行安排。

概述

2024年01月04日正式對外發布Realtime ComputeFlink版的引擎新版本VVR 8.0.5,包含連接器更新、效能最佳化以及缺陷修複。

該版本是基於Apache Flink 1.17.2的企業級Flink引擎。在該版本中,我們對MySQL源表CDC在指錨點(指定位移量和時間戳記)後的資料同步速度進行了最佳化;對於MongoDB連接器,源表CDC支援表結構變更同步,並新增了對MongoDB作為維表的支援;JDBC連接器新增對Postgres SQL的UUID和JSONB類型的支援;StarRocks結果表支援JSON類型;另外Hologres連接器中的JDBC模式支援攢批時不進行去重,滿足在一定吞吐最佳化下的資料完整性;新增了對PolarDB Postgres (相容Oracle)版作為結果表寫入支援;缺陷修複上,我們修複了Apache Flink 1.17.2版本上發現的多個缺陷(包括Apache社區已修複待發布的缺陷),同時還修複了在引擎上發現的問題,旨在提高系統的穩定性和可靠性。

我們將在全網進行分步驟的灰階,灰階完畢後,歡迎您將作業使用的引擎升級至此版本,具體操作請參見作業引擎版本升級。期待您的使用體驗反饋!

主要功能介紹

特性

詳情

相關文檔

最佳化MySQL CDC指定位移量或者時間戳記進行啟動的資料讀取速度

可以更快速地定位到開始要讀取的資料,減少等待時間。

MySQL

MongoDB作為源表支援表結構變更同步和自動加列

MongoDB作為源表時可以通過CTAS或CDAS語句將表結構變更同步到下遊儲存,支援自動加列。

支援將MongoDB作為維表

MongoDB連接器支援作為維表進行關聯查詢。

MongoDB

支援MongoDB Catalog

通過Catalog的方式註冊中繼資料後,支援Schema推導,在建立SQL時,無需再使用DDL建立MongoDB源表。

管理MongoDB Catalog(公測中)

JDBC連接器支援更多資料類型

新增對Postgres SQL的UUID和JSONB類型的支援。

JDBC

Hologres連接器支援SSL串連、Bulk Load模式寫入和攢批去重。

  • 通過SSL串連,整體讀寫鏈路將更加安全。

  • Bulk Load模式寫入可以大幅度減少對於Hologres寫入的壓力。

  • jdbc及jdbc_fixed模式支援攢批去重,可以有效提高資料一致性和資料庫效能、降低網路開銷。

即時數倉Hologres

JDBC模式消費Binlog不再需要設定slotname

Hologres 2.1版本開始,JDBC模式消費Binlog不再需要設定slotname。

新增支援PolarDB Postgres (相容Oracle)連接器

支援將資料寫入PolarDB Postgres(相容Oracle)。

PolarDB PostgreSQL版(Oracle文法相容1.0)

StarRocks支援更多資料類型

StarRocks結果表支援JSON類型。

暫無

RocketMQ結果表支援partitionField參數

支援通過partitionField參數指定欄位名,將該欄位作為分區列。在資料寫入時,會根據該列值計算Hash值,Hash值相同的資料會寫入同一個分區。

雲訊息佇列 RocketMQ 版

Elasticsearch連接器支援8.x和忽略text類型欄位的.keyword尾碼

  • 支援將資料寫入8.x版本的Elasticsearch

  • 維表支援忽略text類型欄位的.keyword尾碼

Elasticsearch

MySQL連接器支援忽略NULL值

Sink支援忽略更新寫入資料中的NULL值。

MySQL