全部產品
Search

搜尋本產品

    Realtime Compute for Apache Flink：2023-04-13版本

    文件中心

    Realtime Compute for Apache Flink：2023-04-13版本

    更新時間：Jul 13, 2024

    本文為您介紹2023年4月13日發布的Realtime ComputeFlink版的重大功能變更和主要缺陷修複。

    重要

    本次版本將在全網進行分步驟的灰階，全網更新發布的時間預計為2023年4月13日至2023年8月15日。如果您未能在控制台上找到相關新功能，說明您的平台暫未完成灰階。如果您需要儘快升級，請提交工單告知我們，我們將結合實際情況進行安排。具體升級計劃，請關注Realtime Compute控制台頁面右側的最新公告。

    概述

    2023年4月13日正式對外發布Realtime ComputeFlink版的新版本，包含平台改版和引擎更新、連接器更新、效能最佳化以及缺陷修複。

    引擎側將正式對外發布VVR 6.0.6版本，該版本是基於Apache Flink 1.15.3的企業級Flink引擎。作為預覽型功能，自本版本起，阿里雲Realtime ComputeFlink提供了Apache Paimon (incubating)，這是一項流式資料湖儲存技術，提供高吞吐、低延遲的資料攝入、流式訂閱和即時查詢能力。

    平台側將進行多項常用功能的改版，更改了開發控制台的一級目錄和作業開發營運的流程，最佳化了產品的使用體驗，增強了警示能力。

    灰階完畢後，平台能力將完成升級。作業引擎版本將在兩周內升級，升級完成後可以在作業的引擎列表中看到新引擎版本。歡迎您體驗平台側的新能力，將作業使用的引擎升級至新版本，期待您的反饋和使用體驗。

    功能介紹

    特性

    詳情

    相關文檔

    支援Apache Paimon流式資料湖

    作為預覽型功能，引擎支援了基於阿里雲OSS的Paimon的資料讀寫。

    Paimon

    支援Apache Paimon Catalog

    支援您基於內建的Apache Paimon Catalog，通過Flink SQL構建基於Flink的即時資料湖方案。

    管理Paimon Catalog

    支援OSS-HDFS流式寫入

    允許將資料從流式寫入OSS-HDFS，提供更多資料存放區支援。

    Object Storage Service

    監控指標調整

    • CPU指標變更

      • 新增JM CPU Usage指標。

      • 取消TM CPU Load和JM CPU Load指標。

        說明

        CPU Load不能反映CPU使用方式，CPU Usage會作為唯一CPU使用率的監控指標。

    • 連接器指標變更

      • Elasticsearch連接器新增numRecordsOut和numRecordsOutPerSecond指標，提高運行可觀測性。

      • MySQL CDC連接器新增Enumerator指標

    支援Tair結果表

    支援Tair結果表，提供更多資料存放區選項。

    -

    流SQL Explain功能增強

    支援plan_advice模式，提供更詳細的最佳化建議。

    暫無

    動態CEP最佳化

    支援基於Groovy運算式的Condition，最佳化了NFA和SharedBuffer的實現，減少了Timer建立次數，提高了效能。

    動態CEP中規則的JSON格式定義

    支援Flink ML

    作為預覽型功能，引擎支援了Flink ML，提供更方便的即時機器學習功能。

    -

    作業開發流程最佳化

    作業開發頁面最佳化為SQL開發頁面，提供SQL開發的平台：

    • 提供部署上線的隔離機制，避免開發SQL影響線上正在啟動並執行作業。對於Jar和Python作業來說，開發與線上天然隔離，且不需要使用到SQL中的UDF、連接器和Catalog等組件，所以不需要部署上線的機制。

    • 最佳化Jar作業和Python作業建立流程。SQL開發頁面不再提供Jar和Python作業的建立，您可以直接在作業營運頁面部署Jar作業和Python作業。歷史上在開發介面建立的Jar和Python作業草稿可以在作業歸檔中尋找。

    作業開發

    Jar和Python作業部署最佳化

    最佳化建立流程，Jar和Python作業可直接在作業營運頁面部署。

    作業啟動流程最佳化

    作業的資源和Flink Conf的相關配置放置在部署詳情頁面，您可以在不停止作業的情況下調配資源，啟動階段僅需要設定啟動位點。

    作業啟動

    新增中繼資料頁面

    Flink社區不推薦使用暫存資料表，建議您使用Catalog來建立SQL作業，從而避免重複使用DDL。因此，本版本將中繼資料能力繼續增強，您可以在SQL作業中更多使用中繼資料，方便管理SQL作業。

    暫無

    SQL作業調試流程最佳化

    最佳化了SQL作業的調試流程，不再需要設定調試的Session叢集，而是在作業調試階段選擇調試作業要使用的Session叢集，避免作業多版本情況下需要頻繁更換調試叢集的問題。

    作業調試

    新增安全頁面

    將使用者授權與密鑰託管（原變數替換）的頁面整合成為一個安全頁面，您可以在安全頁面完成平台安全相關設定。

    變數和密鑰管理

    新增連接器頁面

    連接器作業獨立頁面放置，方便您查看不同引擎版本支援的連接器類型以及版本，同時管理自己的自訂連接器。

    管理自訂連接器

    提供作業失敗的警示

    並支援電話警示和連絡人搜尋能力

    監控警示功能更新：

    • 支援您設定電話警示方式，對連絡人提供搜尋能力。

    • 支援了作業失敗的警示。

    配置監控警示

    支援角色帳號登入

    支援您使用角色帳號登入Flink控制台，不支援對角色帳號設定許可權，預設使用owner許可權。

    -

    支援網路探測能力

    支援您通過輸入IP或者網域名稱的方式檢測Flink作業啟動並執行環境與您的上下遊系統是否聯通。

    暫無

    支援自訂Catalog

    通過Catalog的方式註冊中繼資料後，在建立SQL的時候不需要再頻繁使用DDL建立暫存資料表，Realtime Compute開發控制台已經內建了部分Catalog，您也可以自訂Catalog JAR後註冊並使用。

    -

    智能診斷能力增強

    本次提供了對作業開發過程和作業運行過程中產生的錯誤記錄檔智能分析的能力，在日誌介面查看資訊時，系統會自動分析日誌內容並提供可執行檔操作建議。

    作業智能診斷

    SLS連接器用戶端升級

    最佳化了SLS連接器的效能和穩定性。

    暫無

    CEP SQL功能擴充

    CEP SQL支援迴圈連續性聲明和UNTIL文法連用。

    暫無

    缺陷修複

    • 修複作業調試時，針對NULL資料展示為TRUE的缺陷。

    • 修複註冊多個中繼資料服務時，因為其中一個中繼資料服務不可用導致所有中繼資料服務異常的問題。

    • 修複作業從Session叢集切Pre-Job時狀態恢複報錯的問題。

    • 修複Hologres維表對Hologres源表進行Join時的驗證報錯問題。

    • 修複SLS源表消費位點異常回退的問題。