全部產品
Search
文件中心

Realtime Compute for Apache Flink:2024-07-22版本

更新時間:Aug 07, 2024

本文為您介紹2024年7月22日發布的Realtime ComputeFlink版的重大功能變更和主要缺陷修複。

重要

本次升級計劃在全網分步驟完成灰階,具體升級計劃,請關注Realtime Compute控制台頁面右側的最新公告。如果您不能使用相關新功能,說明您的帳號暫未完成灰階。如果您需要儘快升級,請提交工單告知我們,我們將結合實際情況進行安排。

概述

2024年7月22日,我們正式對外發布Realtime ComputeFlink版新版本,包含平台升級、引擎更新、連接器更新、效能最佳化以及缺陷修複。

平台側

本次平台功能更新我們聚焦於提升您的使用體驗和系統穩定性,同時增強安全性和營運效率。以下是本次更新的主要亮點:

  • 支援自訂角色以及細粒度許可權:支援添加自訂角色,使您能夠根據實際業務需求靈活定義角色和許可權點,並為這些角色指派細粒度的許可權,以滿足不同團隊和個人的特定訪問需求,增強許可權管理靈活性以及作業操作安全性。

  • 開發營運效率提升:最佳化作業詳情和作業資源配置介面,展示更加清晰易懂;支援介面化建立MaxCompute Catalog,協助您更快地配置和管理Flink作業,提升資料管理和開發效率。

引擎側

引擎側正式對外發布VVR 8.0.8,該版本是基於Apache Flink 1.17.2的企業級Flink引擎,主要包含以下變更:

  • 在連接器方面,對於即時構建Elasticsearch索引的情境,Elasticsearch連接器支援配置收到回撤類型訊息時的行為,同時放寬了queryMaxdocs的限制;對於構建即時數倉的情境,Hologres連接器支援為列設定不同刪除策略;SLS連接器支援latest和earliest消費模式;MySQL連接器支援指定RDS Endpoint。

  • 在SQL方面,新增URL_DECODE和URL_ENCODE內建函數。

  • 在效能提升方面,提升了Paimon維表關聯的效能,最佳化了MySQL CDC全增量寫入Hologres的速度,提升了MaxCompute源表讀取速度並最佳化寫入對叢集的壓力。

  • 在安全方面,在作業總覽的拓撲圖中對密碼進行了加密處理,確保敏感資訊的安全。

該版本主要特性詳情及相關文檔詳見下方表格,我們將在全網進行分步驟的灰階,灰階完畢後,歡迎您將作業使用的引擎升級至此版本,具體操作請參見作業引擎版本升級。期待您的使用體驗反饋!

主要功能介紹

特性

詳情

相關文檔

支援建立自訂角色

支援根據實際業務需求靈活定義角色以及配置細粒度的許可權,增強許可權管理的靈活性以及作業操作的安全性。

專案空間授權

最佳化作業詳情介面

狀態總覽頁簽操作欄的作業詳情中,可以查看您配置的作業啟動參數資訊。

無。

最佳化資源配置介面

部署詳情頁簽資源配置地區會提示資源配置的最大值。

無。

Elasticsearch連接器能力增強

  • 提升Elasticsearch維表Join查詢的效能,放寬了queryMaxdocs的限制,允許返回更多資料,以適應巨量資料量維表查詢需求。

  • 支援配置收到回撤類型訊息時的行為。

Elasticsearch

SLS連接器支援設定源表啟動模式。

源表可以從最新位點或最早位點開始消費SLS資料。

Log ServiceSLS

PyFlink Docker鏡像升級

升級PyFlink的基礎Docker鏡像,提高了對不同Python版本和glibc版本的相容性。

不涉及

新增URL_DECODE和URL_ENCODE內建函數

提供了URL編碼和解碼的內建函數,方便您使用。

MySQL連接器支援指定RDS Endpoint

提供MySQL CDC讀取OSS上Binlog歸檔日誌的功能。

MySQL

Hologres連接器支援局部更新

Hologres連接器支援為列設定不同刪除策略,例如刪除整行或者將非主鍵欄位設定為Null,後者適用於局部更新操作在執行刪除操作時不影響其他列的情境。

即時數倉Hologres

LookupJoin支援自訂Partitioner

支援配置維表串連時的Shuffle策略,可以有效提高資料處理效率。

維表JOIN語句

MaxCompute連接器能力增強

MaxCompute支援使用Arrow介面讀取資料,並允許動態分配分區,提升整體讀取效能。

MaxCompute

主要缺陷修複

  • 修複了Paimon部分更新時多個流寫同一表衝突的問題。

  • 修複了MySQL CDC在解析大量Binlog時可能發生OOM的問題,現在會拋出異常並觸發作業Failover,而不是靜默重試。

  • 最佳化了GeminiStateBackend相關OOM異常的處理,現在會拋出異常並觸發作業Failover,而不是靜默重試。

  • 修複了RocketMQ連接器消費狀態無法在RocketMQ控制台正常顯示的問題。

  • 修複了Hologres連接器源表在有狀態啟動時因表結構變更(例如TRUNCATE操作)導致的快照恢複失敗問題。

  • 修複了StarRocks連接器java.lang.NoClassDefFoundError: StringUtils錯誤。

  • 修複了Apache Flink 1.17.2版本的所有缺陷,詳情請參見Apache Flink 1.17.2 Release Announcement