本文為您介紹2024年01月04日發布的Realtime ComputeFlink版的重大功能變更和主要缺陷修複。
本次升級計劃在全網分步驟完成灰階,具體升級計劃,請關注Realtime Compute控制台頁面右側的最新公告。如果您不能使用相關新功能,說明您的帳號暫未完成灰階。如果您需要儘快升級,請提交工單告知我們,我們將結合實際情況進行安排。
概述
2024年01月04日正式對外發布Realtime ComputeFlink版的引擎新版本VVR 8.0.5,包含連接器更新、效能最佳化以及缺陷修複。
該版本是基於Apache Flink 1.17.2的企業級Flink引擎。在該版本中,我們對MySQL源表CDC在指錨點(指定位移量和時間戳記)後的資料同步速度進行了最佳化;對於MongoDB連接器,源表CDC支援表結構變更同步,並新增了對MongoDB作為維表的支援;JDBC連接器新增對Postgres SQL的UUID和JSONB類型的支援;StarRocks結果表支援JSON類型;另外Hologres連接器中的JDBC模式支援攢批時不進行去重,滿足在一定吞吐最佳化下的資料完整性;新增了對PolarDB Postgres (相容Oracle)版作為結果表寫入支援;缺陷修複上,我們修複了Apache Flink 1.17.2版本上發現的多個缺陷(包括Apache社區已修複待發布的缺陷),同時還修複了在引擎上發現的問題,旨在提高系統的穩定性和可靠性。
我們將在全網進行分步驟的灰階,灰階完畢後,歡迎您將作業使用的引擎升級至此版本,具體操作請參見作業引擎版本升級。期待您的使用體驗反饋!
主要功能介紹
特性 | 詳情 | 相關文檔 |
最佳化MySQL CDC指定位移量或者時間戳記進行啟動的資料讀取速度 | 可以更快速地定位到開始要讀取的資料,減少等待時間。 | |
MongoDB作為源表支援表結構變更同步和自動加列 | MongoDB作為源表時可以通過CTAS或CDAS語句將表結構變更同步到下遊儲存,支援自動加列。 | |
支援將MongoDB作為維表 | MongoDB連接器支援作為維表進行關聯查詢。 | |
支援MongoDB Catalog | 通過Catalog的方式註冊中繼資料後,支援Schema推導,在建立SQL時,無需再使用DDL建立MongoDB源表。 | |
JDBC連接器支援更多資料類型 | 新增對Postgres SQL的UUID和JSONB類型的支援。 | |
Hologres連接器支援SSL串連、Bulk Load模式寫入和攢批去重。 |
| |
JDBC模式消費Binlog不再需要設定slotname | Hologres 2.1版本開始,JDBC模式消費Binlog不再需要設定slotname。 | |
新增支援PolarDB Postgres (相容Oracle)連接器 | 支援將資料寫入PolarDB Postgres(相容Oracle)。 | |
StarRocks支援更多資料類型 | StarRocks結果表支援JSON類型。 | 暫無 |
RocketMQ結果表支援partitionField參數 | 支援通過partitionField參數指定欄位名,將該欄位作為分區列。在資料寫入時,會根據該列值計算Hash值,Hash值相同的資料會寫入同一個分區。 | |
Elasticsearch連接器支援8.x和忽略text類型欄位的.keyword尾碼 |
| |
MySQL連接器支援忽略NULL值 | Sink支援忽略更新寫入資料中的NULL值。 |