本文為您介紹2024年7月22日發布的Realtime ComputeFlink版的重大功能變更和主要缺陷修複。
本次升級計劃在全網分步驟完成灰階,具體升級計劃,請關注Realtime Compute控制台頁面右側的最新公告。如果您不能使用相關新功能,說明您的帳號暫未完成灰階。如果您需要儘快升級,請提交工單告知我們,我們將結合實際情況進行安排。
概述
2024年7月22日,我們正式對外發布Realtime ComputeFlink版新版本,包含平台升級、引擎更新、連接器更新、效能最佳化以及缺陷修複。
平台側
本次平台功能更新我們聚焦於提升您的使用體驗和系統穩定性,同時增強安全性和營運效率。以下是本次更新的主要亮點:
支援自訂角色以及細粒度許可權:支援添加自訂角色,使您能夠根據實際業務需求靈活定義角色和許可權點,並為這些角色指派細粒度的許可權,以滿足不同團隊和個人的特定訪問需求,增強許可權管理靈活性以及作業操作安全性。
開發營運效率提升:最佳化作業詳情和作業資源配置介面,展示更加清晰易懂;支援介面化建立MaxCompute Catalog,協助您更快地配置和管理Flink作業,提升資料管理和開發效率。
引擎側
引擎側正式對外發布VVR 8.0.8,該版本是基於Apache Flink 1.17.2的企業級Flink引擎,主要包含以下變更:
在連接器方面,對於即時構建Elasticsearch索引的情境,Elasticsearch連接器支援配置收到回撤類型訊息時的行為,同時放寬了queryMaxdocs的限制;對於構建即時數倉的情境,Hologres連接器支援為列設定不同刪除策略;SLS連接器支援latest和earliest消費模式;MySQL連接器支援指定RDS Endpoint。
在SQL方面,新增URL_DECODE和URL_ENCODE內建函數。
在效能提升方面,提升了Paimon維表關聯的效能,最佳化了MySQL CDC全增量寫入Hologres的速度,提升了MaxCompute源表讀取速度並最佳化寫入對叢集的壓力。
在安全方面,在作業總覽的拓撲圖中對密碼進行了加密處理,確保敏感資訊的安全。
該版本主要特性詳情及相關文檔詳見下方表格,我們將在全網進行分步驟的灰階,灰階完畢後,歡迎您將作業使用的引擎升級至此版本,具體操作請參見作業引擎版本升級。期待您的使用體驗反饋!
主要功能介紹
特性 | 詳情 | 相關文檔 |
支援建立自訂角色 | 支援根據實際業務需求靈活定義角色以及配置細粒度的許可權,增強許可權管理的靈活性以及作業操作的安全性。 | |
最佳化作業詳情介面 | 在狀態總覽頁簽操作欄的作業詳情中,可以查看您配置的作業啟動參數資訊。 | 無。 |
最佳化資源配置介面 | 在部署詳情頁簽資源配置地區會提示資源配置的最大值。 | 無。 |
Elasticsearch連接器能力增強 |
| |
SLS連接器支援設定源表啟動模式。 | 源表可以從最新位點或最早位點開始消費SLS資料。 | |
PyFlink Docker鏡像升級 | 升級PyFlink的基礎Docker鏡像,提高了對不同Python版本和glibc版本的相容性。 | 不涉及 |
新增URL_DECODE和URL_ENCODE內建函數 | 提供了URL編碼和解碼的內建函數,方便您使用。 | |
MySQL連接器支援指定RDS Endpoint | 提供MySQL CDC讀取OSS上Binlog歸檔日誌的功能。 | |
Hologres連接器支援局部更新 | Hologres連接器支援為列設定不同刪除策略,例如刪除整行或者將非主鍵欄位設定為Null,後者適用於局部更新操作在執行刪除操作時不影響其他列的情境。 | |
LookupJoin支援自訂Partitioner | 支援配置維表串連時的Shuffle策略,可以有效提高資料處理效率。 | |
MaxCompute連接器能力增強 | MaxCompute支援使用Arrow介面讀取資料,並允許動態分配分區,提升整體讀取效能。 |
主要缺陷修複
修複了Paimon部分更新時多個流寫同一表衝突的問題。
修複了MySQL CDC在解析大量Binlog時可能發生OOM的問題,現在會拋出異常並觸發作業Failover,而不是靜默重試。
最佳化了GeminiStateBackend相關OOM異常的處理,現在會拋出異常並觸發作業Failover,而不是靜默重試。
修複了RocketMQ連接器消費狀態無法在RocketMQ控制台正常顯示的問題。
修複了Hologres連接器源表在有狀態啟動時因表結構變更(例如TRUNCATE操作)導致的快照恢複失敗問題。
修複了StarRocks連接器java.lang.NoClassDefFoundError: StringUtils錯誤。
修複了Apache Flink 1.17.2版本的所有缺陷,詳情請參見Apache Flink 1.17.2 Release Announcement。