MaxCompute Delta Table是MaxCompute推出的增量資料表格式。Delta Table支援分鐘級資料匯入,底層使用AliORC作為檔案格式,支援UPSERT語義,並能夠提供按照CDC(Change Data Capture)格式讀寫增量資料。Delta Table依賴於MaxCompute儲存服務和中繼資料服務,自動進行資料管理。本文概要介紹MaxCompute Delta Table的基礎功能。
Delta Table格式說明
新增 表資料格式,可高效支援增量/全量資料的儲存和讀寫,如設定主鍵,則可支援即時資料更新能力。
近即時增量匯入
支援各資料來源全量和近即時增量匯入功能:MaxCompute聯合相關產品定製開發多種資料接入工具,例如MaxCompute定製開發的Flink Connector,DataWorks的Data Integration等,用來支援高效的近即時增量資料匯入。這些工具會對接MaxCompute的資料通道服務Tunnel Server,主要支援高並發分鐘級增量資料寫入。
支援各資料來源的增量和全量資料批量寫入:支援MaxCompute SQL以及其它一些介面,用於支援增量和全量資料高效的批量寫入。
資料群組織最佳化
主要由MaxCompute的Storage Service來負責智能的自動管理增量資料檔案,其中包括小檔案合并Clustering、資料COMPACTION、資料排序等最佳化服務。對於其中部分操作,Storage Service會根據資料特徵、時序等多個維度綜合評估,自動執行資料最佳化任務,儘可能保持穩定高效的資料存放區和計算狀態。
交易管理
主要負責增量情境下事務並發衝突管理、資料版本管理、Time travel管理、中繼資料更新和分析等。
增量查詢:支援通過SQL文法查詢增量資料。
Time Travel:支援通過SQL文法查詢歷史快照,有助於回溯業務歷史資料狀態以及錯誤資料恢複。
基礎操作
DDL操作-Data Definition Language
資料寫入