DataWorks：在PyODPS節點中調用第三方包

使用限制

• DataWorks建議您在PyODPS節點內擷取到本地處理的資料不超過50 MB，該操作受限於DataWorks執行資源的不同規格處理的本機資料過多並超出作業系統閾值時可能發生OOM（Got killed）錯誤。請避免在PyODPS節點中寫入過多的資料處理代碼。詳情請參見PyODPS概述。

• 如果您發現有Got killed報錯，即表明記憶體使用量超限，進程被中止。因此，請盡量避免本地的資料操作。通過PyODPS發起的SQL和DataFrame任務（除to_pandas外）不受此限制。

• 使用獨享調度資源群組時，非自訂函數代碼可以使用平台預裝的NumPy和Pandas。不支援其他帶有二進位代碼的第三方包。

• 由於相容性原因，在DataWorks中，options.tunnel.use_instance_tunnel預設設定為False。如果需要全域開啟instance tunnel，需要手動將該值設定為True。

依賴普通的Python指令碼

1. 進入資料開發頁面。

   登入DataWorks控制台，切換至目標地區後，單擊左側導覽列的資料開發與治理 > 資料開發，在下拉框中選擇對應工作空間後單擊進入資料開發。

2. 建立Python資源。

   1. 在DataStudio（資料開發）頁面，滑鼠移至上方至表徵圖，單擊建立資源 > Python。

      您也可以展開商務程序目錄下的目標商務程序，按右鍵MaxCompute，選擇建立資源 > Python。

   2. 在建立資源對話方塊中，輸入名稱（樣本為pyodps_packagetest.py）。

      重要

      資源名稱只能包含中文、字母、數字、點、底線（_）、減號（-），且必須加尾碼名.py。

   3. 單擊建立。

   4. 在建立的Python資源中，輸入需要引用的Python指令碼，樣本如下。

      # import os
      # print os.getcwd()
      # print os.path.abspath('.')
      # print os.path.abspath('..')
      # print os.path.abspath(os.curdir)
      
      def printname():
          print 'test2'
      print 123

   5. 單擊工具列中的表徵圖。

3. 建立PyODPS 2節點。

   1. 展開商務程序目錄下的目標商務程序，按右鍵MaxCompute，選擇建立節點 > PyODPS 2。

   2. 在建立節點對話方塊中，輸入名稱（樣本為pyodps_testpackage）。

      說明

      節點名稱必須是大小寫字母、中文、數字、底線（_）和小數點（.），且不能超過128個字元。

   3. 單擊確認。

4. 開啟PyODPS 2節點的編輯頁面，按右鍵目標Python資源名稱，選擇引用資源。

   引用後，PyODPS 2節點中會自動寫入引用語句##@resource_reference{"pyodps_packagetest.py"}。

   

5. 在PyODPS 2節點內輸入引用Python指令碼的代碼，樣本如下。

   ##@resource_reference{"pyodps_packagetest.py"} #用於引用之前建立的Python資源，該語句必須添加。
   
   import sys
   import os
   sys.path.append(os.path.dirname(os.path.abspath('pyodps_packagetest.py'))) #引入資源至工作空間。
   import pyodps_packagetest #引用資源，資源名需要刪除尾碼.py。
   pyodps_packagetest.printname() #調用方法。

6. 單擊工具列中的表徵圖，在頁面下方的作業記錄地區查看結果。

   

依賴開源的三方包