本文為您介紹2024年11月21日發布的Realtime ComputeFlink版的重大功能變更和主要缺陷修複。
本次升級計劃在全網分步驟完成灰階，具體升級計劃，請關注Realtime Compute控制台頁面右側的最新公告。如果您不能使用相關新功能，說明您的帳號暫未完成灰階。如果您需要儘快升級，請提交工單告知我們，我們將結合實際情況進行安排。
概述
2024年11月21日正式對外發布Realtime ComputeFlink版新版本，包含平台升級、引擎更新、連接器更新、效能最佳化以及缺陷修複。
平台側
本次平台功能更新我們聚焦於提升您的使用體驗和系統穩定性，同時增強營運效率。以下是本次更新的主要亮點：
支援混合計費模式：該模式結合了訂用帳戶和隨用隨付的優勢，在固定資源的基礎上增加了彈性資源上限。可以解決短期高峰預留過多資源的問題，又緩解了完全依賴彈性資源而無法申請到所需資源的困境。同時，該模式配合平台的自動調優能力，能夠將自動調優模式節省的資源轉化為成本收益。
控制台概覽頁重構：重構概覽頁展示內容，可以查看到更多常用功能和資源作業總覽資訊。
支援重新命名作業：支援修改已建立的作業草稿的名稱。
版本收斂能力最佳化：隨著Flink新版本的不斷髮布和時間的推移，部分舊版本逐漸停止服務，為了保證作業版本平穩升級，我們將為您儲存最近使用的EOS版本，方便您在必要時候復原。
引擎側
引擎側正式對外發布VVR 8.0.10，該版本基於Apache Flink 1.17.2的企業級Flink引擎，並在社區最新完成的缺陷修複上繼續最佳化和增強，主要包括以下變更：
新能力
引擎側支援JDK 11：提供了更多的JDK版本選擇，JDK 8和JDK 11的Realtime Compute引擎VVR小版本之間均不提供相容性保證。
SelectDB連接器公測：支援了雲資料庫SelectDB版的結果表寫入。
上述新功能目前為實驗性功能，不保障服務等級協議（SLA），請謹慎用於生產環境。
能力增強
SQL語義增強：支援了使用處理時間（Processing Time）進行 Temporal Join，可以將事實表中的每條資料與維表的的最新資料進行關聯處理。其與事件時間（Event Time）不同，處理時間並不關注事件實際發生的時刻，而是依據資料到達處理系統的時間點。
SQL內建函數增強：支援百分位計算函數PERCENTILE(expr, percentage[, frequency])。
YAML CDC資料攝入增強：CDC YAML作業新增Kafka Source連接器，支援Debezium JSON和Canal JSON格式資料；Paimon和StarRocks連接器支援來自MySQL上遊的truncate和drop table事件；支援分庫分表情境下精度不同的Decimal和Timestamp欄位合并。
CTAS/CDAS鑒權支援增強：增加了在CTAS/CDAS中使用Paimon對接DLF 2.0的能力。
StarRocks連接器增強：支援BIGINT UNSIGNED和VARBINARY資料類型。
效能提升
CDC全增量一體化效能最佳化：利用流批融合技術最佳化了MySQL CDC到Paimon資料庫的即時全增量資料攝入，顯著提升了入湖效能。
全託管儲存最佳化：最佳化了全託管儲存的快照恢複耗時和成本，提高了儲存效率。
體驗最佳化
連接器體驗最佳化：為了防止誤用，屏蔽了不必要的Debezium配置參數；最佳化了Hologres連接器的逾時參數，降低了部署階段的重試次數，從而提升了入倉體驗。
SQL體驗最佳化：增強了SQL深度檢查中對SinkMaterializer運算元的提示和建議。
安全提升
Paimon Catalog安全增強：在建立Catalog後，fs.oss.accessKeySecret參數進行密文顯示，以確保資料的安全性。
該版本主要特性詳情及相關文檔詳見下方表格，我們將在全網進行分步驟的灰階，灰階完畢後，歡迎您將作業使用的引擎升級至此版本，具體操作請參見作業引擎版本升級。期待您的使用體驗反饋！
主要功能介紹
特性 | 詳情 | 相關文檔 |
引擎支援JDK 11 | 引擎全面支援JDK11，助力開發人員利用新特性最佳化Java應用，拓寬運行環境選擇，提昇平台靈活性與相容性。 | |
維表Join支援Keyed-Ordered模式 | 為滿足業務情境中非同步擷取外部系統資料並按UpsertKey順序處理的需求，引入Key-Ordered模式，該模式彌補了現有Ordered和Unordered模式的不足。 | |
YAML CDC資料攝入增強 | YAML中支援添加Kafka作為Source，從而增強了基於YAML配置的系統或應用程式處理Kafka資料流的靈活性。 | |
SLS連接器最佳化 | 採用退避策略，增強SLS連接器的串連穩定性和可靠性。 | 暫無 |
StarRocks連接器增強 |
| |
SQL語義增強 | 支援使用Processing Time進行Temporal Join，利用處理時間屬性，將事實表資料與維表最新資料關聯。 | |
SQL內建函數增強 | 新增對PERCENTILE函數的支援。 | |
Hive Catalog最佳化 | 使用全託管儲存的工作空間支援建立Hive Catalog，並在建立時直接上傳相關配置文檔，並管理檔案的生命週期。 | |
CTAS/CDAS鑒權支援增強 | 在CTAS/CDAS中新增了使用Paimon對接DLF 2.0的能力。 | |
控制台體驗最佳化 | 重構控制台概覽頁內容，增加資源作業總覽、常用功能入口、常用文檔等，方便您快速掌握作業狀態、訪問核心功能以及查閱必要文檔。 | 暫無 |
新增混合計費模式 | 結合了隨用隨付的靈活性與訂用帳戶的成本效益，提供一種更最佳化的計費策略。 | |
日誌歸檔能力最佳化 | 定期清理作業中已過有效期間的歷史歸檔日誌，減少額外的儲存成本。 | |
支援SelectDB連接器 | 雲資料庫SelectDB版是基於Apache Doris的新一代雲原生即時數倉服務，支援使用SelectDB連接器寫入資料至雲資料庫SelectDB版。 |
主要缺陷修複
連接器缺陷
MySQL CDC資料同步：修複開啟oss讀取binlog時，全量轉增量讀取可能出現的資料丟失問題。
Redis資料寫入：修複了VVR 8.0.9版本Redis Connector buffered writer缺陷，導致無資料輸出的問題。
OSS寫入效能：最佳化了VVR 8.0.7及以上版本寫入OSS的效能問題。
YAML作業時間戳記：修複了YAML作業寫出到Paimon時timestamp類型時區轉換的問題。
SQL缺陷修複
Source Merge配置：修複了設定
table.optimizer.source-merge.enabled為true後作業無法啟動的問題。Minibatch Interval配置：修複了VVR 8.0.7版本中Minibatch Interval配置不生效的問題。
相容性與依賴問題修複
Connector類載入：修複了內建連接器使用附加依賴JAR時啟動報
connector class not found異常的問題。IDEA本地運行：解決了本地IDEA使用MySQL CDC JAR報錯
ClassNotFoundException MySqlSourceReaderMetrics的問題。
動態配置缺陷修複
修複了偶發情況下動態更新不生效的問題。