本文為您介紹2024年05月29日發布的Realtime ComputeFlink版的重大功能變更和主要缺陷修複。
本次升級計劃在全網分步驟完成灰階，具體升級計劃，請關注Realtime Compute管理主控台頁面右側的最新公告。如果您不能使用相關新功能，說明您的帳號暫未完成灰階。如果您需要儘快升級，請提交工單告知我們，我們將結合實際情況進行安排。
概述
2024年5月29日正式對外發布Realtime ComputeFlink版的新版本，包含平台升級、引擎更新、連接器更新、效能最佳化以及缺陷修複。
平台側
本次平台功能更新聚焦於增強系統的穩定性和營運能力，並提升了易用性。
為保證您作業啟動並執行穩定性，我們對同城高可用功能進行了最佳化。支援將已有的單可用性區域CU類型專案空間轉換為跨可用性區域CU類型專案空間，無需建立專案空間並進行作業遷移，極大地簡化了啟用同城高可用的流程。
支援在作業資源配置專家模式下設定運算元的狀態TTL，能更精細地調整不同運算元的狀態TTL，實現用更少的資源擷取更高的穩定性效果。
支援通過Realtime ComputeFlink版VS Code外掛程式，實現本地Flink作業開發、部署及上線全流程，並支援快速從線上同步作業。
除此之外，我們也對資料血緣、營運頁面等部分進行了進一步的最佳化。
引擎側
引擎側正式對外發布VVR 8.0.7，該版本是基於Apache Flink 1.17.2的企業級Flink引擎，主要包含以下變更：
在即時湖倉方面，Paimon連接器SDK升級，支援Paimon資料湖格式0.9版本。
在SQL增強方面，您可以使用運算元狀態生命週期（TTL）Hints單獨為雙流聯結運算元和分組彙總運算元設定TTL，更精準的控制各個運算元的狀態大小；您可以使用具名引數來實現自訂函數，提升開發效率，降低維護成本。
在連接器方面，本版本MongoDB連接器結束公測，正式進入生產階段，它提供了完整的CDC源表、維表和結果表能力。另外本版本還重點提升了MySQL CDC和Redis連接器相關能力：
MySQL CDC：
支援通過op_type虛擬列擷取資料操作類型，使得下遊能夠獲得該變化資料的操作類型（+I、+/-U、-D），藉此功能，您可靈活地根據具體的操作類型設計商務邏輯和資料清理策略。
最佳化了以Decimal類型作為主鍵的MySQL表的讀取效能，並實現了大容量表的SourceRecord（資料變更記錄）平行處理，以提升處理效率。
支援Source複用功能，開啟Source複用功能後，Flink會嘗試合并同一作業內某些配置項（庫名、表名和server-id除外）均相同的MySQL CDC源表，以減輕MySQL伺服器的串連和監聽壓力。
在開啟sink.ignore-null-when-update參數時，會進行攢批執行，數倍提升了處理效能。
Redis：Redis作為維表和結果表時，當Key的資料類型為HashMap時，支援多種非主鍵Key格式的DDL定義，方便您更好地理解；支援設定Key的首碼和分隔字元，滿足Redis資料治理要求。
在中繼資料管理方面，MySQL視圖作為資料庫中的一種邏輯結構，本身無法進行實際的資料讀寫。為避免資料操作錯誤，新建立的MySQL Catalog中將不再展示視圖資訊。
在安全方面，本版本對開啟Kerberos的Hive叢集的相容範圍擴充至Hadoop 2.x版本；對日誌中連接器的串連配置等敏感資訊進行了隱藏屏蔽。
在缺陷修複方面，本版本重點修複了ClickHouse結果表shardWrite參數未生效與在極端情況下作業快照無法產生等問題，旨在提高系統的穩定性和可靠性。
該版本主要特性詳情及相關文檔詳見下方表格，我們將在全網進行分步驟的灰階，灰階完畢後，歡迎您將作業使用的引擎升級至此版本，具體操作請參見作業引擎版本升級。期待您的使用體驗反饋！
主要功能介紹
特性 | 詳情 | 相關文檔 |
同城高可用功能最佳化 | 支援專案空間類型（單可用性區域和跨可用性區域）互相切換。 | |
血緣關係功能最佳化 | 欄位層級血緣關係支援通過欄位名稱進行搜尋，多個結果時支援按上下鍵進行切換，方便您快速定位並查看欄位血緣資訊。
| |
作業營運頁面新增建立人欄位 | 您可以在作業營運頁面，單擊右側的
| 無 |
許可權管理功能最佳化 | 建立工作空間的身份（主帳號、RAM使用者、RAM角色等）預設具有專案空間下owner角色許可權。 | |
SQL作業有狀態啟動時狀態相容性檢測行為最佳化 | 選擇從最新狀態啟動作業時，Flink系統會檢測作業變化。當檢測到作業發生變化時，建議單擊狀態相容性檢測旁的點擊檢測檢查相容性，並依據相容性結果後決定後續行為。 | |
上線VS Code本地開發外掛程式 | 為您打通了本地Flink作業開發全流程，協助您在本地輕鬆完成Flink作業的開發、部署及上線，包括SQL、JAR和Python作業，並支援快速從線上同步作業。 | |
支援運算元粒度的TTL設定 | 在只有某些運算元需要設定較大TTL的情境下，為整個作業設定統一的TTL可能會導致State膨脹，造成資源損耗。您可以通過以下任意一種方式設定運算元TTL，更精準的控制各個運算元的狀態大小，節約大狀態作業的使用資源。
| |
支援通過具名引數實現自訂函數 | 可以提升開發效率，降低維護成本。 | |
MySQL CDC連接器能力增強 |
| |
Redis連接器能力增強 |
| |
MQ支援攢批讀取 | 可以有效提高處理效率並降低資源成本。 | |
MySQL Catalog中不再支援查看視圖 | MySQL視圖作為資料庫中的一種邏輯結構，本身並不儲存資料。因此自該版本起，新建立的MySQL Catalog都無法查看視圖資訊。 | |
增強了對Hive Kerberos叢集的支援 | 對開啟Kerberos的Hive叢集相容性範圍擴充至Hadoop 2.x。 | |
Iceberg Connector SDK版本升級 | 支援讀寫Apache Iceberg 1.5。 |
配置自訂欄表展示，添加建立人欄位。通過建立人欄位，能夠準確過濾作業列表，當作業出現問題時可以快速確認作業的建立人，提升協作效率。
主要缺陷修複
修複了Realtime Compute引擎VVR 8.0.5和VVR 8.0.6版本Hologres連接器Where條件下推導致的資料正確性問題。
修複了SLS連接器在Failover期間，SLS源表仍然在消費位點提交而導致資料丟失問題。
修複了同時設定有TTL的mapState和無TTL的valueState時出現的valueState狀態丟失問題。
修複了動態CEP中還原序列化WithinType.PREVIOUS_AND_CURRENT結果不一致問題。
修複了控制台監控頁面與Flink UI頁面的currentEmitEventTimeLag 彙報資料不一致問題。
修複了Apache Flink 1.17.2版本的所有缺陷，詳情請參見Apache Flink 1.17.2 Release Announcement。