本文為您介紹2024年4月1日發布的Realtime ComputeFlink版的重大功能變更和主要缺陷修複。
本次升級計劃在全網逐步進行灰階，預計3-4周完成全部升級，具體計劃請關注Realtime Compute控制台頁面右側的最新公告。如果您不能使用相關新功能，說明您的帳號暫未完成灰階。如需儘快升級，請提交工單告知我們，我們將結合實際情況進行安排。
概述
2024年4月1日正式對外發布Realtime ComputeFlink版的引擎新版本VVR 8.0.6，該版本是基於Apache Flink 1.17.2的企業級Flink引擎，主要包含以下變更：
在即時湖倉方面，本版本主要支援了將資料寫入OSS-HDFS、並且支援通過CTAS和CDAS語句寫入Paimon時，可以建立動態分桶的Paimon表。
在連接器方面，本版本重點發布了針對MySQL CDC同步至Hologres出現的時差問題；Hologres連接器支援了timestamp_ltz類型；MongoDB CDC支援CTAS和CDAS；加強MongoDB整庫同步能力；MaxCompute連接器正式支援以Upsert方式寫入MaxCompute Transaction Table2.0類型表；對於即時構建Elasticsearch索引，本次發布支援了指定列作為路由Key；對Kafka的寫入，支援了對JSON格式中某一列為空白資料時不寫入NULL的能力，最佳化了對Kafka儲存容量的佔用，同時支援了根據Header進行等值過濾的能力，幫您進行資料分流處理；另外，對於Hive Catalog支援了OSS-HDFS作為Hive寫入端的儲存；對於OceanBase支援了源表CDC讀取能力，幫您在OceanBase上構建即時數倉。
在SQL增強方面，本版本提供了CUMULATE對更新流WindowAggregate新彙總運算元的支援。至此版本，VVR完成了TUMBLE、HOP、CUMULATE和SESSION對更新流的完整支援，開源Flink 1.18及以下版本視窗函數暫未支援對更新流進行視窗彙總。
在缺陷修複方面，本版本重點修複了在使用ClickHouse結果表時，shardWrite參數未生效與在極端情況下作業快照無法產生等問題，旨在提高系統的穩定性和可靠性。
該版本主要特性詳情及相關文檔發布詳見下方表格，我們將在全網進行分步驟的灰階，灰階完畢後，歡迎您將作業使用的引擎升級至此版本，具體操作請參見作業引擎版本升級。期待您的使用體驗反饋！
主要功能介紹
特性 | 詳情 | 相關文檔 |
Hologres連接器支援timestamp_ltz類型 | 為處理和分析時間相關的資料提供了更大的靈活性和準確性。 | |
MaxCompute連接器支援能力提升 |
| |
Elasticsearch結果表支援指定列作為路由Key | 支援指定路由Key幫您以效能更好的方式使用Elasticsearch。 | |
CUMULATE對更新流WindowAggregate新彙總運算元的支援 | 增強CDC資料流的視窗彙總能力。 | |
Kafka寫入JSON資料空列不填充NULL，同時支援根據Header進行等值過濾的能力 | 最佳化了對Kafka儲存容量的佔用，幫您進行資料分流處理。 | |
OceanBase支援源表CDC讀取能力 | 您可以在OceanBase上構建分層的即時數倉。 | |
Hive Catalog支援OSS-HDFS作為Hive寫入端的儲存 | 方便您整合OSS-HDFS構建Hive數倉。 | |
基於DLF的Hive Catalog支援建立非Hive表 | 您可以統一使用Hive Catalog管理不同的類型的表。 | |
Paimon支援能力提升 |
| 暫無 |
MongoDB CDC支援CTAS和CDAS | 支援整庫同步MongoDB中的資料到下遊進行即時處理，同時也支援表結構變更自動同步。 | |
Postgres CDC在全量同步階段支援並發讀取 | 加速全量資料的同步。 | |
OSS加強認證鑒權能力 | 在指定檔案系統路徑後，還需要配置Bucket鑒權資訊，才能正常讀寫指定檔案系統路徑下的資料。 | |
StarRocks連接器支援JSON類型 | 滿足您對JSON類型資料的寫入需求。 | 暫無 |
SLS連接器支援將NULL值作為空白字串寫入日誌 | 協助您更輕鬆地處理後續資料中包含NULL值的欄位。 |
主要缺陷修複
修複了ClickHouse結果表指定shardWrite參數未生效的問題。
修複了在極端情況下作業快照無法產生的問題。
修複了Apache Flink 1.17.2版本的所有缺陷，詳情請參見Apache Flink 1.17.2 Release Announcement。