DataWorks：建立EMR Spark節點

當前節點可直接通過OSS REF的方式引用OSS資源，在運行EMR節點時，DataWorks會自動載入代碼中的OSS資源至本地使用。該方式常用於“需要在EMR任務中運行JAR依賴”、“EMR任務需依賴指令碼”等情境。

1. 開發JAR資源。

   1. 代碼依賴準備。

      您可前往EMR叢集，在叢集master節點的/usr/lib/emr/spark-current/jars/路徑下查看您所需的代碼依賴。下面以Spark3.4.2版本為例，您需在開啟已建立的IDEA專案添加pom依賴並引用相關外掛程式。

      添加pom依賴

      <dependencies>
              <dependency>
                  <groupId>org.apache.spark</groupId>
                  <artifactId>spark-core_2.12</artifactId>
                  <version>3.4.2</version>
              </dependency>
              <!-- Apache Spark SQL -->
              <dependency>
                  <groupId>org.apache.spark</groupId>
                  <artifactId>spark-sql_2.12</artifactId>
                  <version>3.4.2</version>
              </dependency>
      </dependencies>

      引用相關外掛程式

      <build>
              <sourceDirectory>src/main/scala</sourceDirectory>
              <testSourceDirectory>src/test/scala</testSourceDirectory>
              <plugins>
                  <plugin>
                      <groupId>org.apache.maven.plugins</groupId>
                      <artifactId>maven-compiler-plugin</artifactId>
                      <version>3.7.0</version>
                      <configuration>
                          <source>1.8</source>
                          <target>1.8</target>
                      </configuration>
                  </plugin>
                  <plugin>
                      <artifactId>maven-assembly-plugin</artifactId>
                      <configuration>
                          <descriptorRefs>
                              <descriptorRef>jar-with-dependencies</descriptorRef>
                          </descriptorRefs>
                      </configuration>
                      <executions>
                          <execution>
                              <id>make-assembly</id>
                              <phase>package</phase>
                              <goals>
                                  <goal>single</goal>
                              </goals>
                          </execution>
                      </executions>
                  </plugin>
                  <plugin>
                      <groupId>net.alchim31.maven</groupId>
                      <artifactId>scala-maven-plugin</artifactId>
                      <version>3.2.2</version>
                      <configuration>
                          <recompileMode>incremental</recompileMode>
                      </configuration>
                      <executions>
                          <execution>
                              <goals>
                                  <goal>compile</goal>
                                  <goal>testCompile</goal>
                              </goals>
                              <configuration>
                                  <args>
                                      <arg>-dependencyfile</arg>
                                      <arg>${project.build.directory}/.scala_dependencies</arg>
                                  </args>
                              </configuration>
                          </execution>
                      </executions>
                  </plugin>
              </plugins>
          </build>

   2. 程式碼範例。

      package com.aliyun.emr.example.spark
      
      import org.apache.spark.sql.SparkSession
      
      object SparkMaxComputeDemo {
        def main(args: Array[String]): Unit = {
          // 建立 SparkSession
          val spark = SparkSession.builder()
            .appName("HelloDataWorks")
            .getOrCreate()
      
          // 列印Spark版本
          println(s"Spark version: ${spark.version}")
        }
      }

   3. 編輯完上述Java代碼後將該代碼產生JAR包。

      樣本產生的JAR包為SparkWorkOSS-1.0-SNAPSHOT-jar-with-dependencies.jar。

2. 上傳JAR資源。

   1. 完成代碼開發後，您需登入OSS管理主控台，單擊所在地區左側導覽列的Bucket列表。

   2. 單擊目標Bucket名稱，進入檔案管理頁面。

      本文樣本使用的Bucket為onaliyun-bucket-2。

   3. 單擊建立目錄，建立JAR資源的存放目錄。

      配置目錄名為emr/jars，建立JAR資源的存放目錄。

   4. 上傳JAR資源至JAR資源的存放目錄。

      進入存放目錄，單擊上傳檔案，在待上傳檔案地區單擊掃描檔案，添加SparkWorkOSS-1.0-SNAPSHOT-jar-with-dependencies.jar檔案至Bucket，單擊上傳檔案。

3. 引用JAR資源。

   1. 編輯引用JAR資原始碼。

      在已建立的EMR Spark節點編輯頁面，編輯引用JAR資原始碼。

      spark-submit --class com.aliyun.emr.example.spark.SparkMaxComputeDemo --master yarn ossref://onaliyun-bucket-2/emr/jars/SparkWorkOSS-1.0-SNAPSHOT-jar-with-dependencies.jar

      引用參數說明：

      參數	參數說明
      class	啟動並執行主類全名稱。
      master	Spark應用程式的運行模式。
      ossref檔案路徑	格式為ossref://{endpoint}/{bucket}/{object} endpoint：OSS對外服務的訪問網域名稱。Endpoint為空白時，僅支援使用與當前訪問的EMR叢集同地區的OSS，即OSS的Bucket需要與EMR叢集所在地區相同。 Bucket：OSS用於儲存物件的容器，每一個Bucket有唯一的名稱，登入OSS管理主控台，可查看當前登入帳號下所有Bucket。 object：儲存在Bucket中的一個具體的對象（檔案名稱或路徑）。

   2. 運行EMR Spark節點任務。

      編輯完成後您可單擊表徵圖，選擇您所建立的Serverless資源群組運行EMR Spark節點。待任務執行完成後，記錄控制台列印的applicationIds，例如application_1730367929285_xxxx。

   3. 結果查看。

      建立EMR Shell節點並在EMR Shell節點執行yarn logs -applicationId application_1730367929285_xxxx命令查看運行結果：