MaxCompute：搭建Linux開發環境

搭建Spark開發環境前，請確保您已經在Linux作業系統中安裝如下軟體：

• JDK

  安裝命令樣本如下。JDK名稱請以實際為準。具體的JDK名稱可通過執行sudo yum -y list java*擷取。

  sudo yum install -y java-1.8.0-openjdk-devel.x86_64

• Python

  安裝命令樣本如下。Python包名稱請以實際為準。

  # 擷取Python包。
  sudo wget https://www.python.org/ftp/python/2.7.10/Python-2.7.10.tgz
  # 解壓縮Python包。
  sudo tar -zxvf Python-2.7.10.tgz
  # 切換到解壓後的目錄，指定安裝路徑。
  cd Python-2.7.10
  sudo ./configure --prefix=/usr/local/python2
  # 編譯並安裝Python。
  sudo make
  sudo make install

• Maven

  安裝命令樣本如下。Maven包路徑請以實際為準。

  # 擷取Maven包。
  sudo wget https://dlcdn.apache.org/maven/maven-3/3.8.7/binaries/apache-maven-3.8.7-bin.tar.gz
  # 解壓縮Maven包。
  sudo tar -zxvf apache-maven-3.8.7-bin.tar.gz

• Git

  安裝命令樣本如下。

  # 擷取Git包。
  sudo wget https://github.com/git/git/archive/v2.17.0.tar.gz
  # 解壓縮Git包。
  sudo tar -zxvf v2.17.0.tar.gz
  # 安裝編譯源碼所需依賴。
  sudo yum install curl-devel expat-devel gettext-devel openssl-devel zlib-devel gcc perl-ExtUtils-MakeMaker
  # 切換到解壓後的目。
  cd git-2.17.0
  # 編譯。
  sudo make prefix=/usr/local/git all
  # 安裝Git至/usr/local/git路徑。
  sudo make prefix=/usr/local/git install

Spark on MaxCompute發布包整合了MaxCompute認證功能。作為用戶端工具，它通過Spark-Submit方式提交作業到MaxCompute專案中運行。MaxCompute提供了面向Spark1.x、Spark2.x和Spark3.x發布包，下載路徑如下：

• Spark-1.6.3：適用於Spark1.x應用的開發。

• Spark-2.3.0：適用於Spark2.x應用的開發。

• Spark-2.4.5：適用於Spark2.x應用的開發。使用Spark-2.4.5的注意事項請參見Spark 2.4.5使用注意事項。

• Spark-3.1.1：適用於Spark3.x應用的開發。使用Spark-3.1.1的注意事項請參見Spark 3.1.1使用注意事項。

將Spark on MaxCompute用戶端包上傳至Linux作業系統中，並解壓。您可以進入Spark用戶端包所在目錄，執行如下命令解壓包。

sudo tar -xzvf spark-2.3.0-odps0.33.0.tar.gz

第一次使用Spark on MaxCompute用戶端時，請在Spark用戶端包的解壓路徑下，將conf檔案夾下的spark-defaults.conf.template檔案重新命名為spark-defaults.conf後再進行相關配置。如果沒有對檔案進行重新命名，將會導致配置無法生效。命令樣本如下。

# 切換至Spark用戶端包的解壓路徑，並進入conf檔案夾。請以實際路徑為準。
cd /home/spark-2.3.0-odps0.33.0/conf

# 修改檔案名稱。
mv spark-defaults.conf.template spark-defaults.conf

# 編輯spark-defaults.conf。
vim spark-defaults.conf
# 按下i進入編輯狀態後，在設定檔末尾添加如下配置資訊。
spark.hadoop.odps.project.name = <MaxCompute_project_name>  
spark.hadoop.odps.access.id = <AccessKey_id>     
spark.hadoop.odps.access.key = <AccessKey_secret>
spark.hadoop.odps.end.point = <Endpoint>   # Spark用戶端串連訪問MaxCompute專案的Endpoint，您可以根據自己情況進行修改。詳情請參見Endpoint。
# spark 2.3.0請將spark.sql.catalogImplementation設定為odps，spark 2.4.5請將spark.sql.catalogImplementation設定為hive。
spark.sql.catalogImplementation={odps|hive} 
# 如下參數配置保持不變
spark.hadoop.odps.task.major.version = cupid_v2
spark.hadoop.odps.cupid.container.image.enable = true
spark.hadoop.odps.cupid.container.vm.engine.type = hyper
spark.hadoop.odps.moye.trackurl.host = http://jobview.odps.aliyun.com

Spark on MaxCompute提供了專案工程模板，建議您下載模板複製後直接在模板裡開發。

準備專案工程命令樣本如下：

• 下載Spark-1.x模板並編譯

  git clone https://github.com/aliyun/MaxCompute-Spark.git
  cd MaxCompute-Spark/spark-1.x
  mvn clean package

• 下載Spark-2.x 模板並編譯

  git clone https://github.com/aliyun/MaxCompute-Spark.git
  cd MaxCompute-Spark/spark-2.x
  mvn clean package

• 下載Spark-3.x 模板並編譯

  git clone https://github.com/aliyun/MaxCompute-Spark.git
  cd MaxCompute-Spark/spark-3.x
  mvn clean package

使用者在開發過程中涉及到如下情境時，需要引用外部檔案：

• 作業需要讀取一些設定檔。

• 作業需要額外的資源套件或第三方庫。例如JAR包、Python庫。

在實際操作中，您需要先上傳檔案後才可以引用檔案，上傳檔案方式有以下兩種，任選其中一種即可：

• 方式一：通過Spark參數上傳檔案

  Spark on MaxCompute支援Spark社區版原生的--jars、--py-files、--files、--archives參數，您可以在提交作業時，通過這些參數上傳檔案，這些檔案在作業運行時會被上傳到使用者的工作目錄下。

  • 通過Spark on MaxCompute用戶端，使用Spark-Submit方式上傳檔案。

    說明

    • --jars：會將配置的JAR包上傳至Driver和Executor的當前工作目錄，多個檔案用英文逗號（,）分隔。這些JAR包都會加入Driver和Executor的Classpath。在Spark作業中直接通過"./your_jar_name"即可引用，與社區版Spark行為相同。

    • --files、--py-files：會將配置的普通檔案或Python檔案上傳至Driver和Executor的當前工作目錄，多個檔案用英文逗號（,）分隔。在Spark作業中直接通過"./your_file_name"即可引用，與社區版Spark行為相同。

    • --archives：與社區版Spark行為略有不同，多個檔案用英文逗號（,）分隔，配置方式為xxx#yyy，會將配置的歸檔檔案（例如.zip）解壓到Driver和Executor的當前工作目錄的子目錄中。例如當配置方式為xx.zip#yy時，應以"./yy/xx/"引用到歸檔檔案中的內容；當配置方式為xx.zip時，應以"./xx.zip/xx/"引用到歸檔檔案中的內容。如果一定要將歸檔內容直接解壓到目前的目錄，即直接引用"./xxx/"，請使用下文中的spark.hadoop.odps.cupid.resources參數進行配置。

  • 通過DataWorks，添加作業需要的資源，操作詳情請參見建立並使用MaxCompute資源。

    說明

    DataWorks中上傳資源限制最大為200 MB，如果需要使用更大的資源，您需要通過MaxCompute用戶端將資源上傳為MaxCompute資源，並將資源添加至資料開發面板。更多MaxCompute資源資訊，請參見MaxCompute資源管理。

• 方式二：通過MaxCompute資源上傳檔案

  Spark on MaxCompute提供spark.hadoop.odps.cupid.resources參數，可以直接引用MaxCompute中的資源，這些資源在作業運行時會被上傳到使用者的工作目錄下。使用方式如下：

  1. 通過MaxCompute用戶端將檔案上傳至MaxCompute專案。單個檔案最大支援500 MB。

  2. 在Spark作業配置中添加spark.hadoop.odps.cupid.resources參數，指定Spark作業運行所需要的MaxCompute資源。格式為<projectname>.<resourcename>，如果需要引用多個檔案，需要用英文逗號（,）分隔。配置樣本如下：

     spark.hadoop.odps.cupid.resources=public.python-python-2.7-ucs4.zip,public.myjar.jar

     指定的資源將被下載到Driver和Executor的當前工作目錄，資源下載到工作目錄後預設名稱是<projectname>.<resourcename>。

     此外，您可以在配置時通過<projectname>.<resourcename>:<newresourcename>方式重新命名資源名稱。配置樣本如下：

     spark.hadoop.odps.cupid.resources=public.myjar.jar:myjar.jar

     重要

     該配置項必須在spark-defaults.conf或DataWorks的配置項中進行配置才會生效，不能寫在代碼中。

通過上述兩種方式將檔案上傳後，即可在代碼中引用檔案，檔案讀取樣本如下：

val targetFile = "檔案名稱"
val file = Source.fromFile(targetFile)
for (line <- file.getLines)
    println(line)
file.close

完成以上的工作之後，執行煙霧測試 (Smoke Test)，驗證Spark on MaxCompute是否可以端到端連通。以Spark-2.x為例，您可以提交一個SparkPi驗證功能是否正常，提交命令如下。

# /path/to/MaxCompute-Spark請指向正確的編譯出來後的應用程式的Jar包。
cd $SPARK_HOME
bin/spark-submit \
--class com.aliyun.odps.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
/path/to/your/spark-examples_2.11-1.0.0-SNAPSHOT-shaded.jar

# 當看到以下日誌表明冒煙作業成功。
19/06/11 11:57:30 INFO Client: 
         client token: N/A
         diagnostics: N/A
         ApplicationMaster host: 11.222.166.90
         ApplicationMaster RPC port: 38965
         queue: queue
         start time: 1560225401092
         final status: SUCCEEDED

通常，本地調試成功後會在叢集上執行代碼。但是Spark可以支援在IDEA裡以Local模式直接運行代碼，運行時請注意以下幾點：

• 代碼需要手動設定spark.master。

  val spark = SparkSession
        .builder()
        .appName("SparkPi")
        .config("spark.master", "local[4]") // 需要設定spark.master為local[N]才能直接運行，N為並發數。
        .getOrCreate()

• 在IDEA裏手動添加Spark on MaxCompute用戶端的相關依賴。

  <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_${scala.binary.version}</artifactId>
      <version>${spark.version}</version>
      <scope>provided</scope> 
  </dependency>

  pom.xml中設定要求scope為provided，所以運行時會出現NoClassDefFoundError報錯。

  Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession$
      at com.aliyun.odps.spark.examples.SparkPi$.main(SparkPi.scala:27)
      at com.aliyun.odps.spark.examples.Spa。r。kPi.main(SparkPi.scala)
  Caused by: java.lang.ClassNotFoundException: org.apache.spark.sql.SparkSession$
      at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
      at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
      at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:335)
      at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
      ... 2 more

  您可以按照以下方式手動將Spark on MaxCompute下的Jars目錄加入IDEA模板工程專案中，既可以保持scope=provided，又能在IDEA裡直接運行不報錯：

  1. 在IDEA中單擊頂部功能表列上的File，選中Project Structure…。

  2. 在Project Structure頁面，單擊左側導覽列上的Modules。選擇資源套件，並單擊資源套件的Dependencies頁簽。

  3. 在資源套件的Dependencies頁簽下，單擊左下角的+，選擇JARs or directories…添加Spark on MaxCompute下的Jars目錄。

• Local不能直接引用spark-defaults.conf裡的配置，需要手動指定相關配置。

  通過Spark-Submit方式提交作業，系統會讀取spark-defaults.conf檔案中的配置。通過Local模式提交作業，需要手動在代碼裡指定相關配置。例如，在Local模式下如果要通過Spark-Sql讀取MaxCompute的表，配置如下。

  val spark = SparkSession
        .builder()
        .appName("SparkPi")
        .config("spark.master", "local[4]") // 需設定spark.master為local[N]才能直接運行，N為並發數。
        .config("spark.hadoop.odps.project.name", "****")
        .config("spark.hadoop.odps.access.id", "****")
        .config("spark.hadoop.odps.access.key", "****")
        .config("spark.hadoop.odps.end.point", "http://service.cn.maxcompute.aliyun.com/api")
        .config("spark.sql.catalogImplementation", "odps")
        .getOrCreate()