MaxCompute：什麼是MaxCompute

功能分類

功能描述

全託管的Serverless線上服務

• 對外以API方式訪問的線上服務，開箱即用。

• 預鋪設大規模叢集資源，可以按需使用、隨用隨付。

• 無需平台營運，最小化營運投入。

彈效能力與擴充性

• 儲存和計算獨立擴充，支援企業將全部資料資產在一個平台上進行聯動分析，消除資料孤島。

• 支援即時根據業務峰穀變化分配資源。

統一豐富的計算和儲存能力

• MaxCompute支援多種計算模型和豐富的UDF。

• 採用列壓縮儲存格式，通常情況下具備5倍壓縮能力，可以大幅節省儲存成本。

資料建模、開發、治理能力

藉助一站式資料開發與治理平台DataWorks，可實現全域資料匯聚、融合加工和治理。DataWorks支援對MaxCompute專案進行管理以及Web端查詢編輯。

整合AI能力

• 與Platform for AI無縫整合，提供強大的機器學習處理能力。

• 您可以使用熟悉的Spark-ML開展智能分析。

• 使用Python機器學習三方庫。

深度整合Spark引擎

• 內建Apache Spark引擎，提供完整的Spark功能。

• 與MaxCompute計算資源、資料和許可權體系深度整合。

湖倉一體

• 整合對資料湖（OSS或Hadoop HDFS）的訪問分析，支援通過外部表格映射、Spark直接存取方式開展資料湖分析。

• 在一套資料倉儲服務和使用者介面下，實現資料湖與資料倉儲的關聯分析。

詳細資料，請參見MaxCompute湖倉一體概述。

離線即時一體

• 與即時數倉Hologres深度融合，支援外部表格關聯查詢，支援儲存層直讀，查詢效率相比其他類型外部表格高5倍以上。

• Hologres針對MaxCompute支援查詢加速，資料無需移動，查詢加速10倍以上。

• Hologres支援MaxCompute中繼資料的大量匯入，無需手工建立外表。

支援流式寫入和近即時分析

• 支援流式資料即時寫入並在資料倉儲中開展分析。

• 與雲上主要流式服務深度整合，輕鬆接入各種來源的流式資料。

• 支援高效能秒級彈性並發查詢，滿足近即時分析情境需求。

提供持續的SaaS化雲上資料保護

為雲上企業提供基礎設施、資料中心、網路、供電、平台安全能力、使用者權限管理、隱私保護等保三級超20項安全功能，兼具開源巨量資料與管理的資料庫的安全能力。

模組名稱

功能說明

儲存引擎

MaxCompute為您提供MaxCompute儲存引擎（內部儲存）用於儲存MaxCompute表、資源等，同時您也可以通過外表的方式直接讀取儲存在OSS、TableStore、RDS等其他產品中的資料。

其中MaxCompute儲存引擎主要採用列壓縮儲存格式，通常情況下可達到5倍壓縮比。

計算引擎

MaxCompute為您提供MaxCompute SQL計算引擎和CUPID計算平台。

• MaxCompute SQL引擎：可直接運行MaxCompute SQL任務。MaxCompute SQL任務的命令及函數文法要求及開發樣本可參見開發參考：SQL。

• CUPID計算平台：可運行Spark任務、Mars任務等三方引擎的任務，多引擎的開發要求及樣本請參見開發參考：多引擎。

雲端服務層

MaxCompute支援建立不同的任務隊列，並為每個隊列配置不同的資源和優先順序，以便對任務執行進行更精細的控制，同時具備強大的調度系統，可以管理並最佳化計算資源的分配和使用，以提高系統的整體效率。MaxCompute也提供資料安全性的多層保護，包括專案空間隔離、許可權控制、資料加密，確保資料的安全和隱私。

統一中繼資料及安全體系

MaxCompute的離線租戶層級中繼資料資訊會通過Information Schema提供服務，同時Information Schema也提供MaxCompute的使用歷史日誌資料查詢等服務，您可以對作業的運行情況，例如資源消耗、運行時間長度、資料處理量等指標進行分析，用於最佳化作業或規劃資源容量。

MaxCompute還提供了完善的安全管理體系，例如存取控制、資料加密、動態脫敏等為資料安全性提供保障。更多安全相關資訊，請參見安全管理。

使用者介面與開放性

MaxCompute提供如下使用者介面：

• Tunnel：MaxComputeData Transmission Service叢集，目前包括共用叢集與獨享叢集。

• API與SDK：

  • Restful API

  • Java SDK、Python SDK

• JDBC：JDBC

• Connector：給第三方產品封裝的連接器，目前包括Flink、Spark、Kafka等，詳情請參見使用Flink寫入資料到Delta Table、使用Kafka（離線與即時）。

資料生態支援

MaxCompute與阿里雲DataWorks深度結合，可通過DataWorks實現一站式資料開發分析治理，同時也支援其他多種資料開發分析情境：

• 資料湖

• Data Integration

• 資料治理

• 三方引擎的資料開發

• 資料視覺效果分析

TopConsole（管理主控台）

提供MaxCompoute專案管理、Quota管理、租戶管理等基礎組態管理能力，以及作業營運、資源觀測基本營運能力，還有物化視圖、成本分析最佳化等增強營運能力，詳情請參見資源管理和作業管理。