本文為您介紹2024年12月20日發布的Realtime ComputeFlink版的重大功能變更。
本次升級計劃在全網分步驟完成灰階，如果您不能使用相關新功能，說明您的帳號暫未完成灰階。如果您需要儘快升級，請提交工單告知我們，我們將結合實際情況進行安排。
概述
本次發布為Realtime ComputeFlink版產品平台功能更新，我們正式推出物化表功能，旨在簡化批處理和流處理資料管道，提供一致的開發體驗。
業務層面對複雜的市場環境需要依靠資料進行決策判斷，如何為業務層提供準確的資料就成為資料團隊需要思考的最重要的任務。不同的業務對資料的要求也不一樣：
風控情境對資料時效性要求高，通常需要秒級到毫秒級。
使用者畫像、即時推薦等情境通常分鐘級即可滿足需求。
BI報表、歷史資料同環比分析等情境實效性較低，通常天級資料即可滿足需求。
在傳統資料倉儲的架構下為了支援業務需求形成了Kappa和Lambda兩套經典的架構，儘管都能在一定程度上解決業務需求，但其各自的缺點也十分明顯，缺少一個能滿足不同業務時效性要求的一體化架構。
Flink作為流批一體的計算引擎，致力於提供一套完整的技術方案來解決業務對資料不同時效性的要求。因此，我們在支援流批一體儲存的Apache Paimon基礎上提供了物化表能力。物化表使用聲明式的SQL，通過對錶資料新鮮度的定義代替傳統的流批描述，您僅需要聲明資料需要重新整理的頻次，即可實現對資料的不同周期的重新整理，具有降低ETL複雜度、實現作業流批的無縫切換、提供串聯更新能力、顯著提高物化表的資料更新效能等優勢。適合在Lambda架構造成資料口徑對齊難、離線BI報表需要即時統計、即時大屏資料需要離線資料修正等情境快速落地物化表。
通過Flink物化表，您可以在資料湖上構建流批一體的計算能力，從而搭建一套新的資料開發範式，通過資料層、中繼資料層，計算層的統一，解決您在原有架構下，資料多份儲存、資料口徑對齊複雜、任務需要在不同引擎開發的痛點，實現真正的流批一體。
相關文檔
文檔 | 詳情 |
瞭解什麼是物化表，以及物化表優勢、適用情境等。 | |
瞭解如何建立物化表，以及進行歷史資料回刷、修改新鮮度、查看物化表血緣關係。 | |
瞭解如何基於Paimon和物化表，快速構建流批一體的湖倉分析處理鏈路，以及通過修改表資料新鮮度，完成由批到流的切換，實現資料即時更新。 |