MaxCompute：Python 2 UDAF

• 編碼聲明：可選。

  固定聲明格式為#coding:utf-8或# -*- coding: utf-8 -*-，二者等效。當Python 2代碼中出現中文字元時，運行程式會報錯，您需要在代碼頭部增加編碼聲明。

• 匯入模組：必選。

  至少要包含from odps.udf import annotate和from odps.udf import BaseUDAF。from odps.udf import annotate用於匯入函數簽名模組，MaxCompute才可以識別後續代碼中定義的函數簽名。from odps.udf import BaseUDAF為Python UDAF的基類，您需要通過此類在衍生類別中實現iterate、merge、terminate等方法。

  當UDAF代碼中需要引用檔案資源或表資源時，需要包含from odps.distcache import get_cache_file（檔案資源）或from odps.distcache import get_cache_table（表資源）。

• 函數簽名：必選。

  格式為@annotate(<signature>)，signature用於定義函數的輸入參數和傳回值的資料類型。更多函數簽名資訊，請參見函數簽名及資料類型。

• 自訂Python類（衍生類別）：必選。

  UDAF代碼的組織單位，定義了實現業務需求的變數及方法。您還可以在代碼中引用MaxCompute內建的第三方庫或引用檔案、表資源。更多資訊，請參見第三方庫或引用資源。

• 實現Python類的方法：必選。

  Python類實現包含如下4個方法，您可以根據實際需要進行選擇。

  方法定義	描述
  BaseUDAF.new_buffer()	返回彙總函式的中間值的buffer。buffer必須是Marshal對象（例如LIST、DICT），並且buffer的大小不應該隨資料量遞增。在極限情況下，buffer在執行對象序列化後的大小不應該超過2 MB。
  BaseUDAF.iterate(buffer[, args, ...])	將args彙總到中間值buffer中。
  BaseUDAF.merge(buffer, pbuffer)	將中間值buffer和pbuffer合并的結果存放在buffer中。
  BaseUDAF.terminate(buffer)	將buffer轉換為MaxCompute SQL的基本類型。

#coding:utf-8
#匯入函數簽名模組及基類。
from odps.udf import annotate
from odps.udf import BaseUDAF
#函數簽名。
@annotate('double->double')
#自訂Python類。
class Average(BaseUDAF):
#實現Python類的方法。
    def new_buffer(self):
        return [0, 0]
    def iterate(self, buffer, number):
        if number is not None:
            buffer[0] += number
            buffer[1] += 1
    def merge(self, buffer, pbuffer):
        buffer[0] += pbuffer[0]
        buffer[1] += pbuffer[1]
    def terminate(self, buffer):
        if buffer[1] == 0:
            return 0.0
        return buffer[0] / buffer[1]

• 讀寫本地檔案。

• 啟動子進程。

• 啟動線程。

• 使用Socket通訊。

• 其他系統調用。

基於上述原因，您上傳的代碼都必須通過標準Python實現。Python標準庫中涉及到上述功能的模組或C擴充模組都會被禁止使用。具體標準庫的可用模組說明如下：

• 所有基於標準Python實現（不依賴擴充模組）的模組都可用。

• C擴充模組中下列模組可用：

  • array、audioop

  • binascii、bisect

  • cmath、_codecs_cn、_codecs_hk、_codecs_iso2022、_codecs_jp、_codecs_kr、_codecs_tw、_collections、cStringIO

  • datetime

  • _functools、future_builtins、

  • _heapq、_hashlib

  • itertools

  • _json

  • _locale、_lsprof

  • math、_md5、_multibytecodec

  • operator

  • _random

  • _sha256、_sha512、_sha、_struct、strop

  • time

  • unicodedata

  • _weakref

  • cPickle

• 沙箱限制了您的代碼最多可向標準輸出和標準錯誤輸出寫入資料的大小為20 KB，即sys.stdout/sys.stderr最多能寫入20 KB資料，多餘的字元會被忽略。

MaxCompute的Python 2運行環境中安裝了除Python標準庫外比較常用的第三方庫，作為標準庫的補充，例如Numpy。

@annotate(<signature>)

'arg_type_list -> type'

• arg_type_list：表示輸入參數的資料類型。輸入參數可以為多個，用英文逗號（,）分隔。支援的資料類型為BIGINT、STRING、DOUBLE、BOOLEAN、DATETIME、DECIMAL、FLOAT、BINARY、DATE、DECIMAL(precision,scale)、CHAR、VARCHAR、複雜資料類型（ARRAY、MAP、STRUCT）或複雜資料類型嵌套。

  arg_type_list還支援星號（*）或為空白（''）：

  • 當arg_type_list為星號（*）時，表示輸入參數為任意個數。

  • 當arg_type_list為空白（''）時，表示無輸入參數。

• type：表示傳回值的資料類型。UDAF只返回一列。支援的資料類型為：BIGINT、STRING、DOUBLE、BOOLEAN、DATETIME、DECIMAL、FLOAT、BINARY、DATE、DECIMAL(precision,scale)、複雜資料類型（ARRAY、MAP、STRUCT）或複雜資料類型嵌套。

• 在歸屬MaxCompute專案中使用自訂函數：使用方法與內建函數類似，您可以參照內建函數的使用方法使用自訂函數。

• 跨專案使用自訂函數：即在專案A中使用專案B的自訂函數，跨專案分享語句樣本：select B:udf_in_other_project(arg0, arg1) as res from table_t;。更多跨專案分享資訊，請參見基於Package跨專案訪問資源。