全部產品
Search
文件中心

MaxCompute:資源

更新時間:Jun 19, 2024

資源是指為了完成資料處理任務而需要使用的各種輔助檔案或程式。這些資源通常用於運行MapReduce或UDF(User-Defined Function)等作業。MaxCompute的資源管理功能允許使用者上傳、註冊和管理這些資源。

概念

資源(Resource)是MaxCompute的特有概念,如果您想使用MaxCompute的自訂函數(UDF)MapReduce功能,需要依賴資源來完成,如下所示:

  • SQL UDF:您編寫UDF後,需要將編譯好的JAR包以資源的形式上傳到MaxCompute。運行此UDF時,MaxCompute會自動下載這個JAR包,擷取您的代碼來運行UDF,無需您幹預。上傳JAR包的過程就是在MaxCompute上建立資源的過程,這個JAR包是MaxCompute資源的一種。

  • MapReduce:您編寫MapReduce程式後,將編譯好的JAR包作為一種資源上傳到MaxCompute。運行MapReduce作業時,MapReduce架構會自動下載這個JAR資源,擷取您的代碼。

您同樣可以將文字檔以及MaxCompute中的表作為不同類型的資源上傳到MaxCompute,您可以在UDF及MapReduce的運行過程中讀取、使用這些資源。MaxCompute提供了讀取、使用資源的介面。詳情請參見資源使用樣本UDF使用說明

說明

MaxCompute的自訂函數(UDF)MapReduce對資源的讀取有一定的限制,詳情請參見使用限制

資源類型

MaxCompute支援上傳的單個資源大小上限為2048 MB,資源套件括以下幾種類型:

  • File類型:僅支援.zip、.so和.jar類型的File資源。

  • Table類型:MaxCompute中的表。

    說明

    MapReduce引用的Table類型資源中,Table欄位類型目前只支援BIGINT、DOUBLE、STRING、DATETIME、BOOLEAN,其他類型暫未支援。

  • JAR類型:編譯好的Java JAR包。

  • Archive類型:通過資源名稱中的尾碼識別壓縮類型,支援的壓縮檔類型包括.zip、.tgz、.tar.gz、.tar、.jar。

  • Python類型:您編寫的Python代碼,用於註冊Python UDF函數。

相關文檔