本文為您介紹2024年9月11日發布的Realtime ComputeFlink版的重大功能變更和主要缺陷修複。
本次升級計劃在全網分步驟完成灰階，具體升級計劃，請關注Realtime Compute控制台頁面右側的最新公告。如果您不能使用相關新功能，說明您的帳號暫未完成灰階。如果您需要儘快升級，請提交工單告知我們，我們將結合實際情況進行安排。
概述
2024年9月11日，我們正式對外發布Realtime ComputeFlink版新版本，包含平台升級、引擎更新、連接器更新、效能最佳化以及缺陷修複。
平台側
本次平台功能更新我們聚焦於提升您的使用體驗和系統穩定性，同時增強安全性和營運效率。以下是本次更新的主要亮點：
支援Flink CDC 3.0的YAML資料攝取作業開發：Flink CDC作為資料庫資料即時同步的方案，從誕生到現在受到了廣大開發人員和企業使用者的支援和應用。隨著阿里巴巴向Apache基金會正式捐贈Flink CDC專案，也標誌著Flink CDC從捕獲資料來源變更的Flink Source變為以Flink為基礎的流式ETL資料攝取架構。因此，新增資料攝入模組，提升對整個Flink CDC能力的支援。
任務編排能力最佳化：豐富了任務編排的警示能力，支援通過CloudMonitor進行DingTalk、電話等多種方式警示；同時支援在任務編排中使用動態變數，以解決周期性運行同一份代碼時需要讓代碼按預設的時間周期進行計算的問題。通過不斷加強任務編排能力期待能讓您更好地使用該功能。
密鑰託管能力擴充：隨著JAR作業數量的增加，原本被廣泛應用於SQL作業的密鑰託管能力也被JAR作業所需要，因此增加了對JAR和Python作業使用密鑰的支援。同時某些資訊（如IP地址）可能會被多個作業使用但不屬於密鑰的範疇，為瞭解決這類問題，密鑰託管正式更名為變數管理，包含了原有的密鑰託管以及對明文變數的管理，以更好地體現該功能的能力。
控制台一級目錄調整：隨著更多能力模組的加入，原有平鋪的目錄展示方式無法更直觀地讓您定位到需要的模組。因此，對開發控制台左側導覽列的排布進行了最佳化，提高了導航的直觀性和易用性，讓您更輕鬆地找到所需的功能。
引擎側
引擎側正式對外發布VVR 8.0.9，該版本是基於Apache Flink 1.17.2的企業級Flink引擎，主要包含以下變更：
MySQL CDC連接器增加了Binlog解析線程參數，方便您根據需要提升Binlog並發解析能力。
Kafka連接器增加對Zstandard（Zstd）壓縮演算法的依賴，提升了資料轉送效率，同時新增內建Protobuf格式支援，便於處理結構化資料。
Redis連接器的Sink效能得到最佳化，處理速度得到提升，同時支援配置串連池參數，提供了更靈活的串連管理。
Paimon Sink支援Delete Action，在局部更新的行為指定上更加易用。
Flink批作業支援使用Celeborn遠程Shuffle服務，可以將Shuffle資料存放區在高效能叢集中，突破Flink節點磁碟容量限制，增強超大規模資料處理能力，同時保持作業穩定和經濟效益。
該版本主要特性詳情及相關文檔詳見下方表格，我們將在全網進行分步驟的灰階，灰階完畢後，歡迎您將作業使用的引擎升級至此版本，具體操作請參見作業引擎版本升級。期待您的使用體驗反饋！
主要功能介紹
特性 | 詳情 | 相關文檔 |
新增資料攝入模組 | 基於Flink CDC 3.0，通過開發YAML作業的方式可以實現將資料從源端同步到目標端的資料攝入工作。 | |
對接DLF 2.0 | 建立Paimon Catalog時，當中繼資料存放區類型選擇DLF且使用DLF為2.0時，無需您再填寫AccessKey等資訊。 | |
開通時訪問相關許可權最佳化 | 首次開通Flink工作空間時，訪問資源授權增加DLF相關許可權，用於訪問DLF相關Catalog，提升DLF 2.0使用體驗。已開通使用者已預設增加DLF許可權，無需您額外關注。 | |
快速建立Session叢集 | 執行查詢指令碼時（查詢指令碼頁面），當無可用Session叢集時，支援通過配置關鍵參數快速建立執行環境，直接運行指令碼。 | 暫無 |
任務編排能力最佳化 | 豐富了工作流程的警示能力，支援通過CloudMonitor進行DingTalk、電話等多種方式的事件警示。 | |
密鑰託管能力擴充 | 密鑰託管更名為變數管理，支援設定明文或密文變數，支援JAR和Python作業使用變數。 | |
控制台一級目錄調整 | 引入資料攝入等新模組，並最佳化了開發控制台左側導覽列布局，方便您更快地找到所需要的模組。 | 暫無 |
MySQL連接器效能增強 | 開放對Binlog解析的線程配置，提升非同步解析能力。 | |
Kafka連接器效能增強 |
| |
Redis連接器效能增強 |
| |
SLS連接器重構 |
| |
Paimon連接器增強 | 支援配置收到回撤（-D/-U）類型訊息時的期望語義，增強Delete Action處理效能。 | |
MongoDB擴充維表關聯讀取能力 | 維表支援讀取內建 | |
StarRocks連接器穩定性增強 | 最佳化網路異常情況下的寫入重試機制，調整了 | |
HBase連接器最佳化 | 支援在寫入操作中忽略 | |
Lindorm連接器最佳化 | 新增結果表資料寫入特性，允許在更新操作中排除特定列。 | |
支援遠程Shuffle服務 | Flink批作業在開啟遠程Shuffle服務（公測階段免費開放）後，Shuffle資料將儲存到高效能的Apache Celeborn叢集中，作業不再受限於Flink計算節點的磁碟容量，從而增強超大規模資料的處理能力，同時保持作業的高穩定性和成本效益。 |
主要缺陷修複
修複了MySQL CDC指定消費位點消費，在主從切換髮生後，無法正常從Checkpoint恢複的問題。
修複了StarRocks連接器在VVR 8.0.8中使用CTAS時報java.lang.ClassNotFoundException的問題。
修複了控制台資料連線中Elasticsearch連接器支援版本缺少V8版本的問題。
最佳化了Hologres連接器在啟動時強制檢查Table ID的問題。