全部產品
Search
文件中心

MaxCompute:Delta Table概述

更新時間:Oct 15, 2024

MaxCompute Delta Table是MaxCompute推出的全新增量表格式。Delta Table支援分鐘級資料匯入,底層使用AliORC作為檔案格式,支援UPSERT語義,並能夠提供標準的CDC(Change Data Capture)方式讀寫增量資料。Delta Table依賴於MaxCompute儲存服務和中繼資料服務,自動進行資料管理。本文概要介紹MaxCompute Delta Table的基礎功能。

  • Delta Table格式說明

    • 新增 表資料格式,可高效支援增/全量資料的儲存和讀寫,如設定主鍵,則可支援即時資料更新能力。

  • 近即時增量匯入

    • 支援各資料來源全量和近即時增量匯入功能:MaxCompute聯合相關產品定製開發多種資料接入工具,例如MaxCompute定製開發的Flink Connector,DataWorks的Data Integration等,用來支援高效的近即時增量資料匯入。這些工具會對接MaxCompute的資料通道服務Tunnel Server,主要支援高並發分鐘級增量資料寫入。

    • 支援各資料來源的增全量資料批量寫入:支援MaxCompute SQL以及其它一些介面,用於支援增全量資料高效的批量寫入。

  • 資料群組織最佳化

    主要由MaxCompute的Storage Service來負責智能的自動管理增量資料檔案,其中包括小檔案合并Clustering、資料COMPACTION、資料排序等最佳化服務。對於其中部分操作,Storage Service會根據資料特徵、時序等多個維度綜合評估,自動執行資料最佳化任務,儘可能保持穩定高效的資料存放區和計算狀態。

  • 交易管理

    主要負責增量情境下事務並發衝突管理、資料版本管理、Time travel管理、中繼資料更新和分析等。

  • 基礎操作