MaxCompute：UDF開發（Python3）

您可以通過MaxCompute Studio工具使用Python 3語言編寫UDF代碼，代碼中需要包含如下資訊：

• 匯入模組：必選。

  至少要包含from odps.udf import annotate，匯入函數簽名模組，MaxCompute才可以識別後續代碼中定義的函數簽名。當UDF代碼中需要引用檔案資源或表資源時，需要包含from odps.distcache import get_cache_file（檔案資源）或from odps.distcache import get_cache_table（表資源）。

• 函數簽名：必選。

  格式為@annotate(<signature>)，signature用於定義函數的輸入參數和傳回值的資料類型。更多函數簽名資訊，請參見函數簽名與資料類型。

• 自訂Python類：必選。

  UDF代碼的組織單位，定義了實現業務需求的變數及方法。您還可以在代碼中引用MaxCompute內建的第三方庫或引用檔案、表資源。更多資訊，請參見第三方庫或引用資源。

• evaluate方法：必選。

  位於自訂的Python類中。evaluate方法定義了輸入參數和傳回值。一個Python類中只能包含一個evaluate方法。

UDF程式碼範例如下。

#匯入函數簽名模組。
from odps.udf import annotate
#函數簽名。
@annotate("bigint,bigint->bigint")
#自訂Python類。
class MyPlus(object):
#evaluate方法。
   def evaluate(self, arg0, arg1):
       if None in (arg0, arg1):
           return None
       return arg0 + arg1

函數簽名格式如下。

@annotate(<signature>)

signature為字串，用於標識輸入參數和傳回值的資料類型。執行UDF時，UDF函數的輸入參數和傳回值類型要與函數簽名指定的類型一致。查詢語義解析階段會檢查不符合函數簽名定義的用法，檢查到類型不符時會報錯。具體格式如下。

'arg_type_list -> type'

其中：

• arg_type_list：表示輸入參數的資料類型。輸入參數可以為多個，用英文逗號（,）分隔。支援的資料類型為BIGINT、STRING、DOUBLE、BOOLEAN、DATETIME、DECIMAL、FLOAT、BINARY、DATE、DECIMAL(precision,scale)、CHAR、VARCHAR、複雜資料類型（ARRAY、MAP、STRUCT）或複雜資料類型嵌套。

  arg_type_list還支援星號（*）或為空白（''）：

  • 當arg_type_list為星號（*）時，表示輸入參數為任意個數。

  • 當arg_type_list為空白（''）時，表示無輸入參數。

• type：表示傳回值的資料類型。UDF只返回一列。支援的資料類型為：BIGINT、STRING、DOUBLE、BOOLEAN、DATETIME、DECIMAL、FLOAT、BINARY、DATE、DECIMAL(precision,scale)、複雜資料類型（ARRAY、MAP、STRUCT）或複雜資料類型嵌套。

合法的函數簽名樣本如下。

參考資料表資源樣本如下。

from odps.udf import annotate
from odps.distcache import get_cache_table
@annotate('->string')
class DistCacheTableExample(object):
    def __init__(self):
        self.records = list(get_cache_table('udf_test'))
        self.counter = 0
        self.ln = len(self.records)
    def evaluate(self):
        if self.counter > self.ln - 1:
            return None
        ret = self.records[self.counter]
        self.counter += 1
        return str(ret)

按照開發流程，完成Python 3 UDF開發後，您即可通過MaxCompute SQL調用Python 3 UDF。調用方法如下。

set odps.sql.python.version=cp37;

Python 2官方已於2020年初停止維護，建議您根據項目類型執行遷移操作：

• 全新專案：新MaxCompute專案，或第一次使用Python語言編寫UDF的MaxCompute專案。建議所有的Python UDF都直接使用Python 3語言編寫。

• 存量專案：建立了大量Python 2 UDF的MaxCompute專案。請您謹慎開啟Python 3。如果您計劃逐步將所有Python 2 UDF遷移為Python 3 UDF，推薦方法如下：

  • 新作業和新UDF：使用Python 3語言編寫，在Session層級開啟Python 3。開啟Python 3方法，請參見開啟Python 3。

  • Python 2 UDF：改寫Python 2 UDF，使其可以同時相容Python 2和Python 3。改寫方法請參見將Python 2代碼移植到Python 3。

    說明

    如果您需要編寫公用UDF，並為多個MaxCompute專案授權UDF的操作許可權，建議UDF同時相容Python 2和Python 3。