本文為您介紹2023年10月23日發布的Realtime ComputeFlink版的重大功能變更和主要缺陷修複。
經過仔細評估，發現Realtime Compute引擎VVR 8.0.3版本在極端情況下可能存在資料丟失的風險，這可能會影響到您的業務資料正確性。因此該版本將快速逐步EOS，請您儘快將作業引擎版本升級到VVR 8.0.5及以上版本，升級方法請參見作業引擎版本升級。我們可以提供必要的支援和指導，協助您平滑過渡到更安全、更穩定的版本，感謝您的理解與合作。
概述
2023年10月23日正式對外發布Realtime ComputeFlink版的新版本，包含平台升級、引擎更新、連接器更新、效能最佳化以及缺陷修複。
引擎側將正式對外發布VVR 8.0.3版本，該版本是基於Apache Flink 1.17.1的企業級Flink引擎。在該版本中，我們增強了Flink與阿里雲各儲存和計算產品之間的互通性，對MaxCompute、StarRocks、Redis、SLS、RocketMQ連接器進行了功能增強，提高了連接器的效能和穩定性，此外，我們還提升了CTAS的易用性。
平台側主要變更有：最佳化了自動調優的能力，加入平穩策略使調優結果可以收斂，不再頻繁重啟；支援定時計劃設定多組定時策略，並在不停止作業的情況下切換定時計劃；支援欄位粒度的SQL作業資料血緣，協助您管理即時資產；支援動態參數更新，減少啟停作業；支援RAM角色、資來源目錄成員、雲SSO使用者登入等。
相關連接器的DataStream API，計劃在後續版本發布。
我們將在兩周內在全網進行分步驟的灰階，灰階完畢後的客戶和地區平台能力將完成升級，並且可以在作業選擇引擎的列表中看到新引擎版本，歡迎您將作業使用的引擎升級至此版本，具體操作請參見作業引擎版本升級。期待您的使用體驗反饋！
功能介紹
特性 | 詳情 | 相關文檔 |
最佳化自動調優能力 | 提供新的調優策略（平穩策略），協助您的作業尋找適合整個運行周期的資源配置。只有找到更適合整個周期的資源配置，才會動態調整，否則不會修改已有資源，避免了因脈衝式流量的變化導致整個作業資源的修改。使作業的運行趨於穩定，減少不必要的變動和波動，最終達到收斂狀態。 | |
支援定時計劃 | 對比原有的定時調優策略，您可以設定多個定時計劃，並在不停止作業的情況下切換定時計劃，一個定時計划下也可以包含多個定時策略。 | |
支援SQL資料血緣能力 | 通過查看血緣關係，您可以找到使用某張表的某個欄位的Flink作業，也可以看到Flink作業上下遊的欄位級關係，協助您更好的管理作業和資料資產。 | |
支援資源動態更新 | 對作業並發度和部分Flink運行參數的修改，不再需要停止作業完成，您可以動態修改這些參數。 | |
提供SQL最佳化建議 | SQL作業進行深度檢查時，會返回SQL最佳化建議功能，自動輸出SQL問題風險以及對應的最佳化建議，您可以根據風險以及建議進行SQL語句最佳化。 | |
支援標籤搜尋能力 | 支援在SQL、JAR或Python作業部署時，針對作業設定自訂的作業標籤。設定後您可以在作業營運頁面，通過標籤搜尋到所有包含該標籤或標籤值的作業，便於您更好的管理作業。 | |
增強作業排序篩選能力 | 在作業營運頁面，支援根據作業健康分、業務延遲進行排序，支援根據修改人篩選作業。 | 暫無 |
支援RAM角色、資來源目錄成員、雲SSO使用者登入鑒權 | 阿里雲帳號體系全面適配，包括阿里雲帳號、RAM使用者、RAM角色、資來源目錄成員、雲SSO使用者，簡化了使用者身份和訪問管理，同時提供更全面的資源管理和授權機制。 | |
MaxCompute連接器支援複雜資料結構和獨享 Tunnel | MaxCompute連接器支援MaxCompute中JSON、ARRAY、MAP和STRUCT的讀寫，同時支援指定獨享Tunnel進行服務串連。 | |
Redis連接器作為維表時的Cache策略支援ALL | 使用Cache ALL策略，進一步提升Redis作為維表時的效能。 | |
MySQL Catalog支援開啟TDE的雲資料庫RDS MySQL執行個體 | MySQL Catalog對開啟TDE的雲資料庫RDS MySQL執行個體進行了支援。 | 暫無 |
DLF Catalog的oss.endpoint支援OSS-HDFS路徑 | 可以使用OSS-HDFS作為DLF的oss.endpoint。 | |
StarRocks作為結果表時支援CTAS中Schema變更的寬容模式 | 通過支援Schema變更的寬容模式，在使用CTAS作業並將StarRocks作為結果表時，如果源表欄位類型長度變化，只要StarRocks表的欄位長度可以相容，則該表同步的作業不會受到影響。 | 暫無 |
Hologres結果表支援使用Date類型做分區鍵。 | 支援使用Date類型作為分區鍵時，自動建立分區表。 | |
RocketMQ連接器支援讀寫雲訊息佇列RocketMQ版5.x版本 | 新增對雲訊息佇列RocketMQ版最新版本5.x的讀寫支援。 | |
最佳化minibatch和Join部分情境效能 | 最佳化minibatch和Join的效能，在CDC、去重彙總等類似操作後進行Join時，部分情境吞吐可提升130%左右。 | 暫無 |
缺陷修複
修複MaxCompute使用Catalog寫入分區表異常的問題。
修複Hologres維表關聯效能差的問題。