Realtime Compute for Apache Flink：使用Python依賴

預裝Python環境

當前全託管環境中已經預裝了Python環境，具體版本如下：

• VVR 8.0.10及以下版本：Python 3.7

• VVR 8.0.11及以上版本：Python 3.9

一些 Python 第三方軟體包對glibc的版本有要求，當前全託管環境中預裝的glibc版本如下：

使用自訂的Python虛擬環境

如果預裝的Python環境滿足不了您的要求，您也可以通過Python虛擬環境的方式使用自訂的Python版本，每個Python虛擬環境都有一套完整的Python運行環境，並且可以在這套虛擬環境中安裝一系列的Python依賴包。下文為您介紹如何準備Python的虛擬環境。

1. 準備Python的虛擬環境。

   1. 在本地準備setup-pyflink-virtual-env.sh指令碼，其內容如下。

      X86

      set -e
      # 下載miniforge.sh指令碼。
      wget "https://github.com/conda-forge/miniforge/releases/download/25.11.0-1/Miniforge3-25.11.0-1-Linux-x86_64.sh" -O "miniforge.sh"
      
      # 為miniforge.sh指令碼添加執行許可權。
      chmod +x miniforge.sh
      
      # 安裝 miniforge
      ./miniforge.sh -b
      source /root/miniforge3/bin/activate
      
      # 建立Python虛擬環境。
      mamba create -n venv python=3.10 -y
      eval "$(mamba shell hook --shell bash)"
      
      # 啟用Python虛擬環境。
      mamba activate venv
      
      # 安裝PyFlink依賴。
      # update the PyFlink version if needed
      pip install "apache-flink==1.20.3"
      
      # 刪除不必要的 JAR 包以降低包大小
      find /root/miniforge3/envs/venv/lib/python3.10/site-packages/pyflink/ -name *.jar | xargs rm
      
      # 關閉Conda Python虛擬環境。
      mamba deactivate
      
      # 將準備好的Conda Python虛擬環境打包。
      cd /root/miniforge3/envs/ && zip -r /root/venv.zip venv 

      ARM

      set -e
      # 下載miniforge.sh指令碼。
      wget "https://github.com/conda-forge/miniforge/releases/download/25.11.0-1/Miniforge3-25.11.0-1-Linux-aarch64.sh" -O "miniforge.sh"
      
      # 為miniforge.sh指令碼添加執行許可權。
      chmod +x miniforge.sh
      
      # 安裝 miniforge
      ./miniforge.sh -b
      source /root/miniforge3/bin/activate
      
      # 建立Python虛擬環境。
      mamba create -n venv python=3.10 -y
      eval "$(mamba shell hook --shell bash)"
      
      # 啟用Python虛擬環境。
      mamba activate venv
      
      # 安裝PyFlink依賴。
      # update the PyFlink version if needed
      yum install -y java-11-openjdk-devel
      export JAVA_HOME=/usr/lib/jvm/java-11
      wget "https://raw.githubusercontent.com/apache/flink/release-1.20/flink-python/dev/dev-requirements.txt" -O dev-requirements.txt
      pip install -r dev-requirements.txt
      pip install "apache-flink==1.20.3"
      
      # 刪除不必要的 JAR 包以降低包大小
      find /root/miniforge3/envs/venv/lib/python3.10/site-packages/pyflink/ -name *.jar | xargs rm
      
      # 關閉Conda Python虛擬環境。
      mamba deactivate
      
      # 將準備好的Conda Python虛擬環境打包。
      cd /root/miniforge3/envs && zip -r /root/venv.zip venv

   說明

   本文以作業為VVR 11.x，Python 3.10為例為您介紹，如果您需要使用其他VVR版本或安裝其他版本的Python的虛擬環境，則需要修改以下參數：

   • mamba create: 修改為您的目標Python版本。

   • apache-flink：修改為您作業使用的VVR版本對應的Flink版本，Flink版本查看方法請參見空間管理與操作。

   2. 在本地準備build.sh指令碼，其內容如下。

      #!/bin/bash
      set -e -x
      
      yum install -y zip wget
      
      cd /root/
      bash /build/setup-pyflink-virtual-env.sh
      mv venv.zip /build/

   3. 在命令列，執行如下命令，完成python虛擬環境的安裝。

      X86

      docker run -it --rm -v $PWD:/build -w /build quay.io/pypa/manylinux_2_28_x86_64 bash ./build.sh

      ARM

      docker run -it --rm -v $PWD:/build -w /build quay.io/pypa/manylinux_2_28_aarch64 bash ./build.sh

      執行完該命令後，會產生一個名字為venv.zip的檔案，本樣本為Python 3.10的虛擬環境。

      您也可以修改上述指令碼，在虛擬環境中安裝所需的第三方Python包。

2. 在Python作業中使用Python虛擬環境。

   1. 登入Realtime Compute控制台。

   2. 單擊目標工作空間操作列下的控制台。

   3. 在左側導覽列，單擊檔案管理，上傳venv.zip檔案。

   4. 在營運中心 > 作業營運頁面，單擊目標作業名稱。

   5. 在部署詳情頁簽基礎配置地區Python Archives，選擇venv.zip檔案。

      如果SQL作業在虛擬環境中使用Python UDF，需要在運行參數配置地區的其他配置項，添加如下配置資訊。

      python.archives: oss://.../venv.zip

   6. 在運行參數配置地區其他配置項，按照您作業的VVR版本添加對應的指定Python虛擬環境的安裝路徑的配置資訊。

      • vvr-6.x及以上版本

        python.executable: venv.zip/venv/bin/python
        python.client.executable: venv.zip/venv/bin/python

      • vvr-6.x以下版本

        python.executable: venv.zip/venv/bin/python

使用第三方Python包

使用JAR包

如果您的Flink Python作業中使用了Java類，例如作業中使用了Connector或者Java自訂函數時，可以通過如下方式來指定Connector或者Java自訂函數的JAR包。

1. 登入Realtime Compute控制台。

2. 單擊目標工作空間操作列下的控制台。

3. 在左側導覽列，單擊檔案管理，上傳需要使用的JAR包。

4. 在營運中心 > 作業營運頁面單擊目標作業名稱，在部署詳情頁簽基礎配置地區，單擊編輯後，在附加依賴檔案項，選擇需要使用的JAR包。

5. 在運行參數配置地區其他配置項，添加配置資訊。

   假如需要依賴多個JAR包，且名字分別為jar1.jar和jar2.jar，配置內容如下。

   pipeline.classpaths: 'file:///flink/usrlib/jar1.jar;file:///flink/usrlib/jar2.jar'

6. 單擊儲存。

使用內建連接器、資料格式和Catalog

如果您需要在Flink Python作業中使用內建連接器、資料格式和Catalog，可以通過如下方式來指定所用的內建連接器、資料格式和Catalog。

1. 在運行參數配置地區其他配置項，添加配置資訊。

   假如需要依賴多個內建連接器，且名字分別為kafka和sls，配置內容如下（內建連接器的具體名字，請參考支援的連接器中各連接器的文檔）。

   pipeline.used-builtin-connectors: kafka;sls

   假如需要依賴多個內建資料格式，且名字分別為avro和parquet，配置內容如下（內建資料格式的具體名字，請參考支援的資料格式的文檔）。

   pipeline.used-builtin-formats: avro;parquet

   假如需要依賴多個內建Catalog，且名字分別為hive-2.3.6和paimon，配置內容如下（內建Catalog的具體名字，請參考資料管理中相應Catalog的文檔）。

   pipeline.used-builtin-catalogs: hive-2.3.6;paimon

2. 單擊儲存。

使用資料檔案

相關文檔

• Python API作業開發的方法請參見Python作業開發。

• Flink Python作業的完整開發流程樣本，請參見Flink Python作業快速入門。

• Flink全託管還支援運行SQL和DataStream作業，開發方法請參見作業開發地圖和JAR作業開發。