本文由簡體中文內容自動轉碼而成。阿里雲不保證此自動轉碼的準確性、完整性及時效性。本文内容請以簡體中文版本為準。

使用須知

更新時間:2024-06-18 20:07

本文根據您的角色推薦不同的文檔讀取順序。

如果您是MaxCompute初學者

如果您是初學者,建議先熟悉如下模組,然後再有針對性地對深入學習其他模組。

模組

說明

模組

說明

產品簡介

介紹MaxCompute產品的概況、主要功能、應用情境、使用限制及基本概念。通過閱讀該章節,您會對MaxCompute有一個總體的認知。

準備工作

通過樣本指導您如何準備帳號、準備環境、建立表、匯入資料、運行SQL及匯出結果資料。

快速入門

常用命令列表

介紹MaxCompute的常用命令。您可以進一步熟悉如何操作MaxCompute。

工具

您需要在分析資料前掌握MaxCompute涉及的用戶端、MaxCompute Studio等工具。

Endpoint

介紹MaxCompute各地區支援的串連方式及Endpoint資訊,並對您在與其他雲產品(ECS、Tablestore或OSS)互訪情境中遇到的網路連通性和下載資料收費等問題進行說明。

如果您是資料分析師

如果您是資料分析師,建議熟讀SQL模組的內容。您可以查詢並分析儲存在MaxCompute上的大規模資料。MaxCompute SQL支援如下主要功能。

功能項

說明

功能項

說明

DDL操作

支援管理表、分區、列、生命週期及視圖。

DML操作

支援插入或更新表、分區資料。

DQL操作

支援SELECT、子查詢等多種查詢操作。

增強操作

支援通過命令匯入匯出MaxCompute表中的資料、複製表資料等SQL增強操作。

內建函數

支援通過內建數學函數、視窗函數、日期函數、彙總函式、字串函數等處理資料。

UDF

支援通過建立自訂函數來滿足更多的計算需求。

如果您擁有一定開發經驗

如果您擁有一定的開發經驗,瞭解分布式概念,且希望解決某些無法用SQL實現的資料分析問題,推薦您學習MaxCompute更進階的功能模組。

模組

說明

模組

說明

MapReduce

MaxCompute提供Java MapReduce編程模型。您可以使用MapReduce提供的介面(Java API)編寫MapReduce程式,處理MaxCompute中的資料。

Graph

一套面向迭代的圖計算處理架構。使用圖進行建模,圖由點(Vertex)和邊(Edge)組成,點和邊包含權值(Value)。通過迭代對圖進行編輯、演化,最終得出結果。

Tunnel

您可以使用Tunnel服務向MaxCompute批量上傳離線資料或從MaxCompute下載離線資料。

Java SDK

向開發人員提供的Java介面。

Python SDK

向開發人員提供的Python介面。

如果您是專案Owner或管理員

如果您是一個專案的Owner(建立和使用專案)或管理員(管理專案、安全和費用)需要熟知如下模組。

模組

子模組

說明

模組

子模組

說明

專案管理

建立專案前期工作

專案(Project)是MaxCompute的基主要組織單元,它類似於傳統資料庫的Database或Schema的概念,是進行多使用者隔離和存取控制的主要邊界。一個使用者可以同時擁有多重專案的許可權,通過安全授權,可以在一個專案中訪問另一個專案中的對象,例如表(Table)、資源(Resource)、函數(Function)和執行個體(Instance)。使用MaxCompute,實際是操作專案中的各種對象。前期準備工作如下:

  • 資源預算

    MaxCompute收費資源主要包含儲存、計算和公網下載流量。

    • 儲存資源:按量階梯計費。您可以按照資料量套用公式預估費用。由於資料不是當天全部儲存在MaxCompute,且每時每刻都會存在資料匯入匯出,所以預算結果不是絕對值。

    • 計算資源:計算資源分為隨用隨付和訂用帳戶模式。由於使用初期不容易評估計算資源使用量,建議您先使用隨用隨付模式,測試一段時間後根據使用量再決定是否使用訂用帳戶模式。

    • 外網下載流量:隨用隨付,只有通過外網下載才會收費。

    詳細計費說明請參見儲存費用(隨用隨付)計算費用下載費用(隨用隨付)

  • 準備帳號並開通服務

    建立MaxCompute專案前,必須先開通MaxCompute服務,且只能將阿里雲帳號作為主帳號,同時該帳號為計費主體。確定帳號後,在開通MaxCompute服務時,您需要根據資源預算結論選擇隨用隨付或訂用帳戶模式。

建立專案

建立專案具體操作,請參見建立MaxCompute專案

專案成員管理

成員管理主要考慮成員的職責和安全問題,如果通過DataWorks使用MaxCompute,您需要考慮兩個產品之間的關聯許可權。

RAM使用者管理

MaxCompute專案支援阿里雲帳號和RAM使用者兩種帳號體系。您可以將阿里雲帳號下的任意RAM使用者加入MaxCompute的某一個專案中。RAM使用者詳情,請參見建立RAM使用者

通過DataWorks使用MaxCompute和DataWorks的工作空間,僅支援添加阿里雲帳號下的RAM使用者為成員。因此,需要阿里雲帳號通過RAM系統建立RAM使用者,並對RAM使用者進行維護管理。

說明
  • 建議一個RAM使用者對應一個專案成員,禁止多個成員共用一個RAM使用者。

  • 離職或轉崗的成員,需要及時清理對應RAM使用者帳號。若RAM使用者在DataWorks中被加為專案成員,請先清除專案成員再到RAM系統中刪除RAM使用者。

調度資源管理

即DataWorks上的調度資源,調度資源用於執行或分發調度系統下發的任務。DataWorks的調度資源分為如下兩種模式:

  • 預設調度資源。指DataWorks的公用資源集區。當DataWorks節點並發量很高,調度資源緊張時會進入等待調度狀態。直到佔用到資源,節點才開始執行下發任務。

  • 自訂調度資源。指將您自助購買的ECS配置為可以執行分發任務的調度伺服器。阿里雲帳號可以建立自訂調度資源,調度資源套件括若干台物理機或ECS,主要用於執行資料同步或其他任務。

專案設定

在專案開發過程中,部分專案的設定作業需要專案Owner來執行。例如,設定專案是否允許全表掃描、設定專案預設開啟2.0新類型等。詳情請參見專案操作

費用管理

資源預算是在使用之前進行成本預估。基於MaxCompute的計費方式,很多業務無法更準確地預估成本,因此在整個業務開發過程中需要進行費用管理,主要需要關註:

  • 本頁導讀 (1, M)
  • 如果您是MaxCompute初學者
  • 如果您是資料分析師
  • 如果您擁有一定開發經驗
  • 如果您是專案Owner或管理員
文檔反饋
phone 聯絡我們