Realtime Compute for Apache Flink：使用Python依賴

下面將從以下兩個情境為您介紹如何使用第三方Python包：

• 使用可直接Import的第三方Python包

  如果您的第三方Python包是Zip Safe的，即不需要安裝即可直接在Python作業中使用。操作步驟如下：

  1. 下載可直接Import的第三方Python包。

     1. 在瀏覽器上開啟PyPI頁面。

     2. 在搜尋方塊中輸入目標第三方Python包名稱，例如apache-flink 1.12.2。

     3. 在搜尋結果中，單擊目標結果名稱。

     4. 在左側導覽列，單擊Download files。

     5. 單擊檔案名稱中包含cp37-cp37m-manylinux1的包名稱進行下載。

  2. 登入Realtime Compute控制台。

  3. 單擊目標工作空間操作列下的控制台。

  4. 在左側導覽列，單擊檔案管理，上傳第三方Python包。

  5. 在營運中心 > 作業營運頁面，單擊部署作業 > Python作業，Python Libraries項，選擇所上傳的第三方Python包。

  6. 單擊儲存。

• 使用需要編譯的第三方Python包

  如果您的第三方Python包是tar.gz格式的壓縮包，或從其他地方下載的源碼包，且壓縮包的根目錄下存在setup.py檔案，則這種類型的第三方Python包通常需要先編譯才能被使用。您需要先在與Flink相容的環境下編譯第三方Python包，然後才可在Python作業中調用第三方Python包。

  推薦使用quay.io/pypa/manylinux2014_x86_64鏡像容器中的Python 3.7來編譯第三方Python包，使用該容器編譯產生的包相容絕大多數Linux環境，關於該鏡像容器的更多資訊請參見manylinux。

  說明

  Python 3.7的安裝路徑為 /opt/python/cp37-cp37m/bin/python3。

  下面以opencv-python-headless第三方Python包為例，介紹一下如何編譯和使用該第三方Python包。

  1. 編譯第三方Python包。

     1. 在本地準備requirements.txt檔案，其內容如下。

        opencv-python-headless

     2. 在本地準備build.sh指令碼，其內容如下。

        #!/bin/bash
        set -e -x
        
        sed -i 's/mirrorlist/#mirrorlist/g' /etc/yum.repos.d/CentOS-*
        sed -i 's|#baseurl=http://mirror.centos.org|baseurl=http://vault.centos.org|g' /etc/yum.repos.d/CentOS-*
        
        yum install -y zip
        
        PYBIN=/opt/python/cp37-cp37m/bin
        #PYBIN=/opt/python/cp38-cp38/bin
        #PYBIN=/opt/python/cp39-cp39/bin
        #PYBIN=/opt/python/cp310-cp310/bin
        
        "${PYBIN}/pip" install --target __pypackages__ -r requirements.txt
        cd __pypackages__ && zip -r deps.zip . && mv deps.zip ../ && cd ..
        rm -rf __pypackages__

     3. 在CMD命令列，執行如下命令。

        docker run -it --rm -v $PWD:/build  -w /build quay.io/pypa/manylinux2014_x86_64 /bin/bash build.sh

        該命令執行完後，會產生一個名字為deps.zip的檔案，該檔案為編譯之後的第三方Python包。

        您也可以修改requirements.txt，安裝其他所需的第三方Python包。此外，requirements.txt檔案中可以指定多個Python依賴。

  2. 在Python作業中使用第三方Python包deps.zip。

     1. 登入Realtime Compute控制台。

     2. 單擊目標工作空間操作列下的控制台。

     3. 在左側導覽列，單擊檔案管理，上傳deps.zip。

     4. 在營運中心 > 作業營運頁面單擊目標作業名稱，在部署詳情頁簽基礎配置地區，單擊編輯後，在Python Libraries項，選擇deps.zip。

  1. 單擊儲存。

下面將從兩個情境為您介紹如何使用資料檔案：

• 通過Python Archives選項方式

  如果您的資料檔案的數量比較多時，您可以將資料檔案打包成一個ZIP包，然後通過如下方式在Python作業中使用。操作步驟如下：

  1. 登入Realtime Compute控制台。

  2. 單擊目標工作空間操作列下的控制台。

  3. 在左側導覽列，單擊檔案管理，上傳目標資料檔案ZIP包。

  4. 在營運中心 > 作業營運頁面單擊目標作業名稱，在部署詳情頁簽基礎配置地區，單擊編輯後，在Python Archives項，選擇需要使用的資料檔案ZIP包。

  5. 在Python自訂函數中，可以通過如下方式訪問資料檔案。假如資料檔案所在壓縮包名稱為mydata.zip。

     def map():
         with open("mydata.zip/mydata/data.txt") as f:
         ...

• 通過附加依賴檔案選項

  如果您的資料檔案數量比較少時，可以通過如下方式在Python作業中使用。操作步驟如下：

  1. 登入Realtime Compute控制台。

  2. 單擊目標工作空間操作列下的控制台。

  3. 在左側導覽列，單擊檔案管理，上傳目標資料檔案。

  4. 在營運中心 > 作業營運頁面單擊目標作業名稱，在部署詳情頁簽基礎配置地區，單擊編輯後，，在附加依賴檔案項，選擇需要的資料檔案。

  5. 在Python自訂函數中，可以通過如下方式訪問資料檔案。以資料檔案名稱為data.txt為例的代碼如下。

     def map():
         with open("/flink/usrlib/data.txt") as f:
         ...