MaxCompute：搭建Windows開發環境

搭建Spark開發環境前，請確保您已經在Windows作業系統中安裝如下軟體：

• JDK

  本文採用JDK 1.8.0_361，JDK官網下載地址請參見JDK官網。

• Python

  本文採用Python 3.7，Python官網下載地址請參見Python官網。

  說明

  本文採用Spark-2.4.5，如採用其他版本Spark請下載安裝對應版本Python，詳情請參見https://pypi.org/project/pyspark/。

• Maven

  本文採用Apache Maven 3.8.7，Maven官網下載地址請參見Maven官網。

• Git

  本文採用git version 2.39.1.windows.1，Git官網下載地址請參見Git官網。

• Scala

  本文採用Scala 2.13.10，Scala官網下載地址請參見Scala官網。

Spark on MaxCompute發布包整合了MaxCompute認證功能。作為用戶端工具，它通過Spark-Submit方式提交作業到MaxCompute專案中運行。MaxCompute提供了面向Spark1.x、Spark2.x和Spark3.x發布包，下載路徑如下（本文採用Spark-2.4.5）：

• Spark-1.6.3：適用於Spark1.x應用的開發。

• Spark-2.3.0：適用於Spark2.x應用的開發。

• Spark-2.4.5：適用於Spark2.x應用的開發。使用Spark-2.4.5的注意事項請參見Spark 2.4.5使用注意事項。

• Spark-3.1.1：適用於Spark3.x應用的開發。使用Spark-3.1.1的注意事項請參見Spark 3.1.1使用注意事項。

您需要在Windows作業系統中單擊此電腦 > 屬性 > 進階系統設定 > 環境變數配置如下環境變數資訊，配置方法及資訊如下。

• 配置Java環境變數。

  • 擷取Java安裝路徑。

  • 編輯Java環境變數資訊。

    1. 在系統變數中新增JAVA_HOME的變數，變數值輸入Java安裝路徑。

    2. 系統變數Path中增加%JAVA_HOME%\bin。

  • 確認Java已配置成功。

    • 驗證方式

      通過鍵盤快速鍵Win+R開啟運行對話方塊，輸入cmd，單擊確定。在命令運行介面輸入java -version，若返回的結果符合預期，則Java配置成功。

    • 預期結果樣本

      java version "1.8.0_361"
      Java(TM) SE Runtime Environment (build 1.8.0_361-b09)
      Java HotSpot(TM) 64-Bit Server VM (build 25.361-b09, mixed mode)

• 配置Spark環境變數。

  • 擷取Spark用戶端包解壓後的路徑。

  • 編輯Spark環境變數資訊。

    1. 新增SPARK_HOME系統變數，變數值中輸入Spark用戶端包解壓後的路徑。

    2. 系統變數Path中增加%SPARK_HOME%\bin。

• 配置Scala環境變數。

  確認Scala已配置成功。

  • 驗證方式

    通過鍵盤快速鍵Win+R開啟運行對話方塊，輸入cmd，單擊確定。在命令運行介面輸入scala，若返回的結果符合預期，則Scala配置成功。

  • 預期結果樣本

    Welcome to Scala 2.13.10 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_361).
    Type in expressions for evaluation. Or try :help.
    
    scala>

• 配置Python環境變數。

  • 擷取Python安裝路徑。

  • 編輯Python環境變數資訊。

    在系統變數Path中增加Python和子目錄Scripts的安裝路徑。

  • 確認Python已配置成功。

    • 驗證方式

      通過鍵盤快速鍵Win+R開啟運行對話方塊，輸入cmd，單擊確定。在命令運行介面輸入python --version，若返回的結果符合預期，則Python配置成功。

    • 預期結果樣本

      Python 3.10.6

• 配置Maven環境變數。

  • 擷取Maven包解壓後的路徑。

  • 編輯Maven環境變數資訊。

    1. 新增MAVEN_HOME系統變數，變數值中輸入Maven包解壓後的路徑。

    2. 系統變數Path中增加%MAVEN_HOME%\bin。

  • 確認Maven已配置成功。

    • 驗證方式

      通過鍵盤快速鍵Win+R開啟運行對話方塊，輸入cmd，單擊確定。在命令運行介面輸入mvn --version，若返回的結果符合預期，則Maven配置成功。

    • 預期結果樣本

      # ***表示Maven包解壓後的部分路徑。
      Apache Maven 3.8.7 (b89d5959fcde851dcb1c8946a785a163f14e1e29)
      Maven home: D:\***\apache-maven-3.8.7-bin\apache-maven-3.8.7
      Java version: 1.8.0_361, vendor: Oracle Corporation, runtime: C:\Program Files\Java\jdk1.8.0_361\jre
      Default locale: zh_CN, platform encoding: GBK
      OS name: "windows 10", version: "10.0", arch: "amd64", family: "windows"

• 配置Git環境變數。

  確認Git已配置成功。

  • 驗證方式

    通過鍵盤快速鍵Win+R開啟運行對話方塊，輸入cmd，單擊確定。在命令運行介面輸入git --version，若返回的結果符合預期，則Git配置成功。

  • 預期結果樣本

    git version 2.39.1.windows.1

• 配置spark_defaults.conf

  第一次使用Spark on MaxCompute用戶端時，請在Spark用戶端包的解壓路徑下，將conf檔案夾下的spark-defaults.conf.template檔案重新命名為spark-defaults.conf後再進行相關配置。如果spark-defaults.conf.template和spark-defaults.conf檔案都存在，則不需要重新命名操作，只需要配置spark-defaults.conf檔案即可。程式碼範例如下。

  # 直接進入到Spark用戶端包的解壓路徑，並進入conf檔案夾。請以實際路徑為準。
  
  # 開啟spark-defaults.conf檔案配置資訊
  
  # 在設定檔末尾添加如下配置資訊。
  spark.hadoop.odps.project.name = <MaxCompute_project_name>
  spark.hadoop.odps.access.id = <AccessKey_id>
  spark.hadoop.odps.access.key = <AccessKey_secret>
  spark.hadoop.odps.end.point = <Endpoint>   # Spark用戶端串連訪問MaxCompute專案的Endpoint，您可以根據自己情況進行修改。
  # spark 2.3.0請將spark.sql.catalogImplementation設定為odps，spark 2.4.5請將spark.sql.catalogImplementation設定為hive。
  spark.sql.catalogImplementation={odps|hive}
  
  # 如下參數配置保持不變
  spark.hadoop.odps.task.major.version = cupid_v2
  spark.hadoop.odps.cupid.container.image.enable = true
  spark.hadoop.odps.cupid.container.vm.engine.type = hyper
  spark.hadoop.odps.moye.trackurl.host = http://jobview.odps.aliyun.com

  • MaxCompute_project_name：待訪問MaxCompute專案的名稱。

    此處為MaxCompute專案名稱，非工作空間名稱。您可以登入MaxCompute控制台，左上方切換地區後，在左側導覽列選擇工作區 > 專案管理，查看具體的MaxCompute專案名稱。

  • AccessKey_id：具備目標MaxCompute專案存取權限的AccessKey ID。

    您可以進入AccessKey管理頁面擷取AccessKey ID。

  • AccessKey_secret：AccessKey ID對應的AccessKey Secret。

    您可以進入AccessKey管理頁面擷取AccessKey Secret。

  • Endpoint：MaxCompute專案所屬地區的外網Endpoint。

    各地區的外網Endpoint資訊，請參見各地區Endpoint對照表（外網串連方式）。

  • VPC_endpoint：MaxCompute專案所屬地區的VPC網路的Endpoint。

    各地區的VPC網路Endpoint資訊，請參見各地區Endpoint對照表（阿里雲VPC網路連接方式）。

Spark on MaxCompute提供了專案工程模板，建議您下載模板複製後直接在模板裡開發。

準備專案工程樣本如下：

• 下載Spark-1.x模板並編譯

  #開啟已經下載好的git用戶端（Git Bash），進入到需要下載專案工程的目錄，執行
  git clone https://github.com/aliyun/MaxCompute-Spark.git
  
  #進入到工程檔案夾中
  cd MaxCompute-Spark/spark-1.x
  
  #編譯該工程包
  mvn clean package

• 下載Spark-2.x 模板並編譯

  #開啟已經下載好的git用戶端（Git Bash），進入到需要下載專案工程的目錄，執行
  git clone https://github.com/aliyun/MaxCompute-Spark.git
  
  #進入到工程檔案夾中
  cd MaxCompute-Spark/spark-2.x
  
  #編譯該工程包
  mvn clean package

• 下載Spark-3.x 模板並編譯

  #開啟已經下載好的git用戶端（Git Bash），進入到需要下載專案工程的目錄，執行
  git clone https://github.com/aliyun/MaxCompute-Spark.git
  
  #進入到工程檔案夾中
  cd MaxCompute-Spark/spark-3.x
  
  #編譯該工程包
  mvn clean package