全部產品
Search

搜尋本產品

    MaxCompute：什麼是MaxCompute

    文件中心

    MaxCompute：什麼是MaxCompute

    更新時間：Aug 21, 2024

    MaxCompute是適用於資料分析情境的企業級SaaS（Software as a Service）模式雲資料倉儲，以Serverless架構提供快速、全託管的線上資料倉儲服務，消除了傳統資料平台在資源擴充性和彈性方面的限制，最小化使用者營運投入，使您可以經濟並高效地分析處理海量資料。

    隨著資料收集手段不斷豐富，行業資料大量積累，資料規模已增長到了傳統軟體行業無法承載的海量資料（TB、PB、EB）層級。MaxCompute提供離線和即時的資料接入，支援大規模資料計算及查詢加速能力，為您提供面向多種計算情境的資料倉儲解決方案及分析建模服務。MaxCompute還為您提供完善的資料匯入方案以及多種經典的分散式運算模型，您可以不必關心分散式運算和維護細節，便可輕鬆完成巨量資料分析。

    MaxCompute適用於100 GB以上規模的儲存及計算需求，最大可達EB層級，並且MaxCompute已經在阿里巴巴集團內部得到大規模應用。MaxCompute適用於大型互連網企業的資料倉儲和BI分析、網站的日誌分析、電子商務網站的交易分析、使用者特徵和興趣挖掘等。

    MaxCompute還深度融合了阿里雲如下產品：

    • DataWorks

      基於DataWorks實現一站式的資料同步、商務程序設計、資料開發、管理和營運功能。

    • 人工智慧平台PAI

      基於Machine Learning Platform for AI的演算法組件實現對MaxCompute資料進行模型訓練等操作。

    • 即時數倉Hologres

      基於Hologres對MaxCompute資料進行外表查詢加速，也可匯出到Hologres進行互動式分析。

    • Quick BI

      基於Quick BI對MaxCompute資料進行報表製作，實現資料視覺效果分析。

    核心功能

    功能分類

    功能描述

    全託管的Serverless線上服務

    • 對外以API方式訪問的線上服務，開箱即用。

    • 預鋪設大規模叢集資源，可以按需使用、隨用隨付。

    • 無需平台營運，最小化營運投入。

    彈效能力與擴充性

    • 儲存和計算獨立擴充，支援企業將全部資料資產在一個平台上進行聯動分析，消除資料孤島。

    • 支援即時根據業務峰穀變化分配資源。

    統一豐富的計算和儲存能力

    • MaxCompute支援多種計算模型和豐富的UDF。

    • 採用列壓縮儲存格式，通常情況下具備5倍壓縮能力，可以大幅節省儲存成本。

    資料建模、開發、治理能力

    藉助一站式資料開發與治理平台DataWorks，可實現全域資料匯聚、融合加工和治理。DataWorks支援對MaxCompute專案進行管理以及Web端查詢編輯。

    整合AI能力

    • 與Platform for AI無縫整合，提供強大的機器學習處理能力。

    • 您可以使用熟悉的Spark-ML開展智能分析。

    • 使用Python機器學習三方庫。

    深度整合Spark引擎

    • 內建Apache Spark引擎，提供完整的Spark功能。

    • 與MaxCompute計算資源、資料和許可權體系深度整合。

    湖倉一體

    • 整合對資料湖（OSS或Hadoop HDFS）的訪問分析，支援通過外部表格映射、Spark直接存取方式開展資料湖分析。

    • 在一套資料倉儲服務和使用者介面下，實現資料湖與資料倉儲的關聯分析。

    詳細資料，請參見MaxCompute湖倉一體概述。

    離線即時一體

    • 與即時數倉Hologres深度融合，支援外部表格關聯查詢，支援儲存層直讀，查詢效率相比其他類型外部表格高5倍以上。

    • Hologres針對MaxCompute支援查詢加速，資料無需移動，查詢加速10倍以上。

    • Hologres支援MaxCompute中繼資料的大量匯入，無需手工建立外表。

    支援流式寫入和近即時分析

    • 支援流式資料即時寫入並在資料倉儲中開展分析。

    • 與雲上主要流式服務深度整合，輕鬆接入各種來源的流式資料。

    • 支援高效能秒級彈性並發查詢，滿足近即時分析情境需求。

    提供持續的SaaS化雲上資料保護

    為雲上企業提供基礎設施、資料中心、網路、供電、平台安全能力、使用者權限管理、隱私保護等保三級超20項安全功能，兼具開源巨量資料與管理的資料庫的安全能力。

    產品架構

    MaxCompute的產品架構如下。

    p787518

    其中核心模組介紹如下。

    模組名稱

    功能說明

    儲存引擎

    MaxCompute為您提供MaxCompute儲存引擎（內部儲存）用於儲存MaxCompute表、資源等，同時您也可以通過外表的方式直接讀取儲存在OSS、TableStore、RDS等其他產品中的資料。

    其中MaxCompute儲存引擎主要採用列壓縮儲存格式，通常情況下可達到5倍壓縮比。

    計算引擎

    MaxCompute為您提供MaxCompute SQL計算引擎和CUPID計算平台。

    • MaxCompute SQL引擎：可直接運行MaxCompute SQL任務。MaxCompute SQL任務的命令及函數文法要求及開發樣本可參見開發參考：SQL。

    • CUPID計算平台：可運行Spark任務、Mars任務等三方引擎的任務，多引擎的開發要求及樣本請參見開發參考：多引擎。

    雲端服務層

    MaxCompute支援建立不同的任務隊列，並為每個隊列配置不同的資源和優先順序，以便對任務執行進行更精細的控制，同時具備強大的調度系統，可以管理並最佳化計算資源的分配和使用，以提高系統的整體效率。MaxCompute也提供資料安全性的多層保護，包括專案空間隔離、許可權控制、資料加密，確保資料的安全和隱私。

    統一中繼資料及安全體系

    MaxCompute的離線租戶層級中繼資料資訊會通過Information Schema提供服務，同時Information Schema也提供MaxCompute的使用歷史日誌資料查詢等服務，您可以對作業的運行情況，例如資源消耗、運行時間長度、資料處理量等指標進行分析，用於最佳化作業或規劃資源容量。

    MaxCompute還提供了完善的安全管理體系，例如存取控制、資料加密、動態脫敏等為資料安全性提供保障。更多安全相關資訊，請參見安全管理。

    使用者介面與開放性

    MaxCompute提供如下使用者介面：

    資料生態支援

    MaxCompute與阿里雲DataWorks深度結合，可通過DataWorks實現一站式資料開發分析治理，同時也支援其他多種資料開發分析情境：

    • 資料湖

    • Data Integration

    • 資料治理

    • 三方引擎的資料開發

    • 資料視覺效果分析

    TopConsole（管理主控台）

    提供MaxCompoute專案管理、Quota管理、租戶管理等基礎組態管理能力，以及作業營運、資源觀測基本營運能力，還有物化視圖、成本分析最佳化等增強營運能力，詳情請參見資源管理和作業管理。

    產品優勢

    MaxCompute的主要優勢如下：

    • 簡單易用

      • 面向資料倉儲實現高效能儲存、計算。

      • 預整合多種服務，標準SQL開發簡單。

      • 內建完善的管理和安全能力。

      • 免營運，隨用隨付，不使用不產生計算費用。

    • 匹配業務發展的彈性擴充能力

      儲存和計算獨立擴充，動態擴縮容，按需彈性擴充，無需提前規劃容量，滿足突發業務增長。

    • 支援多種分析情境

      支援開放資料生態，以統一平台滿足資料倉儲、BI、近即時分析、資料湖分析、機器學習等多種情境。

    • 開放的平台

      • 支援開放介面和生態，為資料、應用遷移、二次開發提供靈活性。

      • 支援與Airflow、Tableau等開源和商業產品靈活組合，構建豐富的資料應用。

    聯絡我們

    如果您在使用MaxCompute的過程中有任何疑問或建議，歡迎填寫DingTalk群申請表單加入DingTalk群進行反饋。