全部產品
Search

搜尋本產品

    Realtime Compute for Apache Flink：2023-06-21版本

    文件中心

    Realtime Compute for Apache Flink：2023-06-21版本

    更新時間：Jul 13, 2024

    本文為您介紹2023年6月21日發布的Realtime ComputeFlink版的重大功能變更和主要缺陷修複。

    重要

    本次版本將在兩周內在全網進行分步驟的灰階。如果您未能在控制台上找到相關新功能，說明您的平台暫未完成灰階。如果您需要儘快升級，請提交工單告知我們，我們將結合實際情況進行安排。具體升級計劃，請關注Realtime Compute控制台頁面右側的最新公告。

    概述

    2023年6月21日正式對外發布Realtime ComputeFlink版的新版本，包含平台改版和引擎更新、連接器更新、效能最佳化以及缺陷修複。

    引擎側將正式對外發布VVR 6.0.7版本，該版本是基於Apache Flink 1.15.4的企業級Flink引擎。在該版本中，我們正式推出了對阿里雲MaxCompute以及SLS的Catalog支援，您可以使用持久表的方式進行資料表的定義與使用。作為一個預覽功能，本次發布包含了Apache Paimon 0.4.0的更新，該更新增加了Flink CDC入湖能力和完整的CTAS、CDAS Schema Evolution支援，在流式讀寫層面，增強了讀寫順序性與消費的靈活性，同時改進了讀寫效能。另外，加強了資料管控功能，例如Snapshot清理、自動刪除分區，並添加了對Parquet檔案格式的支援。除此之外，我們正式對外發布了VVR 4.0.18版本，該版本修複了諸多缺陷，也是推薦VVR 4.x升級的最終版本。

    平台側將進行多項常用功能的改版，主要集中在審計日誌、Kerberos支援、監控警示增強等能力的建設，最佳化了部分頁面的展示和體驗。

    我們將在兩周內在全網進行分步驟的灰階，灰階完畢後的客戶和地區平台能力將完成升級，並且可以在作業選擇引擎的列表中看到新引擎版本，歡迎您將作業使用的引擎升級至此版本，並期待您的使用體驗反饋！

    主要功能介紹

    特性

    詳情

    相關文檔

    Paimon Catalog支援使用CTAS和CDAS語句實現資料即時入湖

    方便使用者資料即時進入資料湖Paimon。

    CREATE TABLE AS（CTAS）語句

    MySQL連接器結果表和維表能力增強

    通過此增強，從此版本起，我們推薦您將之前使用阿里雲RDS連接器的作業逐步遷移至MySQL連接器。

    MySQL

    MySQL源表CDC增量讀取支援無主鍵的表

    此次更新可以讓更多種類的MySQL表作為CDC源表來使用。

    Tair連接器作為結果表時，支援到期時間設定與incr模式

    提供更靈活的Tair結果表功能，可設定資料到期時間，同時還支援設定increment等操作。

    雲原生記憶體資料庫Tair

    支援Hive Kerberos

    支援將Flink Jar或Python作業寫入開啟Kerberos認證的Hive叢集中。

    審計日誌

    平台對接阿里雲審計服務，您可以在審計服務平台查看到使用者在平台上的操作記錄。

    查看Flink審計事件

    智能診斷頁面最佳化

    將智能診斷放置在作業營運資訊中而不再使用彈窗方式，可展示更多更豐富的診斷資訊。通過健康分和作業診斷的能力，可以讓您更便捷的瞭解作業情況。

    作業智能診斷

    新增修改人資訊

    在作業營運介面新增修改人欄位，更方便瞭解作業操作情況。

    無

    版本戳記

    對所有引擎版本設定標記，建議您升級到穩定版本或推薦版本。

    成員管理API開放

    開放成員管理API，可通過API完成自動化授權。

    無

    頁面體驗最佳化

    • 作業營運列表支援自訂樣式布局和篩選。

    • 最佳化部分UI樣式。

    • 最佳化部分頁面配置，擴大日誌等資訊頁面的地區。

    無

    警示能力增強

    • 支援無資料警示功能，協助您及時探索資料源異常問題。

    • 支援警示降噪功能，協助您減少重複警示和無效警示的數量，從而減少警示雜訊和提高警示的可用性和準確性。

    配置監控警示

    Hudi連接器版本升級

    升級為Apache Hudi 0.13.1。

    無

    Paimon連接器版本升級

    升級為Apache Paimon 0.4.0。

    管理Paimon Catalog

    MaxCompute連接器支援獨享Tunnel

    通過獨享Tunnel可以讓資料轉送更穩定高效。

    MaxCompute

    DataHub連接器源表效能最佳化

    在一定情境下提升效能幅度達到290%左右。

    無

    Table StoreTablestore連接器支援寫入時序資料

    Table Store的時序模型針對時間序列資料的特點進行設計，支援寫入Tablestore時序資料。

    無

    Hive Catalog支援Hive 3.x版本的DLF

    對於Hive 3.x版本，支援DLF作為Hive Catalog的中繼資料管理中心。

    管理Hive Catalog

    支援SLS Catalog

    通過Catalog的方式註冊中繼資料後，在建立SQL時，無需再頻繁使用DDL建立SLS源表。

    管理SLS Catalog

    支援MaxCompute Catalog

    通過Catalog的方式註冊中繼資料後，在建立SQL作業時，無需再頻繁使用DDL建立MaxCompute表。

    管理MaxCompute Catalog

    重要缺陷修複

    • 修複MySQL CDC連接器結合CTAS、CDAS語句消費源表資料時，出現的記憶體溢出問題。

    • 修複使用Hologres連接器作為維表時的null 指標異常問題。

    • 修複使用Hologres連接器作為源表時的記憶體溢出問題。