大数据开发治理平台 DataWorks：创建EMR Spark节点

当前节点可直接通过OSS REF的方式引用OSS资源，在运行EMR节点时，DataWorks会自动加载代码中的OSS资源至本地使用。该方式常用于“需要在EMR任务中运行JAR依赖”、“EMR任务需依赖脚本”等场景。

1. 开发JAR资源。

   1. 代码依赖准备。

      您可前往EMR集群，在集群master节点的/usr/lib/emr/spark-current/jars/路径下查看您所需的代码依赖。下面以Spark3.4.2版本为例，您需在打开已创建的IDEA项目添加pom依赖并引用相关插件。

      添加pom依赖

      <dependencies>
              <dependency>
                  <groupId>org.apache.spark</groupId>
                  <artifactId>spark-core_2.12</artifactId>
                  <version>3.4.2</version>
              </dependency>
              <!-- Apache Spark SQL -->
              <dependency>
                  <groupId>org.apache.spark</groupId>
                  <artifactId>spark-sql_2.12</artifactId>
                  <version>3.4.2</version>
              </dependency>
      </dependencies>

      引用相关插件

      <build>
              <sourceDirectory>src/main/scala</sourceDirectory>
              <testSourceDirectory>src/test/scala</testSourceDirectory>
              <plugins>
                  <plugin>
                      <groupId>org.apache.maven.plugins</groupId>
                      <artifactId>maven-compiler-plugin</artifactId>
                      <version>3.7.0</version>
                      <configuration>
                          <source>1.8</source>
                          <target>1.8</target>
                      </configuration>
                  </plugin>
                  <plugin>
                      <artifactId>maven-assembly-plugin</artifactId>
                      <configuration>
                          <descriptorRefs>
                              <descriptorRef>jar-with-dependencies</descriptorRef>
                          </descriptorRefs>
                      </configuration>
                      <executions>
                          <execution>
                              <id>make-assembly</id>
                              <phase>package</phase>
                              <goals>
                                  <goal>single</goal>
                              </goals>
                          </execution>
                      </executions>
                  </plugin>
                  <plugin>
                      <groupId>net.alchim31.maven</groupId>
                      <artifactId>scala-maven-plugin</artifactId>
                      <version>3.2.2</version>
                      <configuration>
                          <recompileMode>incremental</recompileMode>
                      </configuration>
                      <executions>
                          <execution>
                              <goals>
                                  <goal>compile</goal>
                                  <goal>testCompile</goal>
                              </goals>
                              <configuration>
                                  <args>
                                      <arg>-dependencyfile</arg>
                                      <arg>${project.build.directory}/.scala_dependencies</arg>
                                  </args>
                              </configuration>
                          </execution>
                      </executions>
                  </plugin>
              </plugins>
          </build>

   2. 编写代码示例。

      package com.aliyun.emr.example.spark
      
      import org.apache.spark.sql.SparkSession
      
      object SparkMaxComputeDemo {
        def main(args: Array[String]): Unit = {
          // 创建 SparkSession
          val spark = SparkSession.builder()
            .appName("HelloDataWorks")
            .getOrCreate()
      
          // 打印Spark版本
          println(s"Spark version: ${spark.version}")
        }
      }

   3. 将代码打包成JAR文件。

      编辑保存Scala代码后，将Scala代码打包成JAR文件。示例生成的JAR包为SparkWorkOSS-1.0-SNAPSHOT-jar-with-dependencies.jar。

2. 上传JAR资源。

   1. 完成代码开发后，您需登录OSS管理控制台，单击所在地域左侧导航栏的Bucket列表。

   2. 单击目标Bucket名称，进入文件管理页面。

      本文示例使用的Bucket为onaliyun-bucket-2。

   3. 单击新建目录，创建JAR资源的存放目录。

      配置目录名为emr/jars，创建JAR资源的存放目录。

   4. 上传JAR资源至JAR资源的存放目录。

      进入存放目录，单击上传文件，在待上传文件区域单击扫描文件，添加SparkWorkOSS-1.0-SNAPSHOT-jar-with-dependencies.jar文件至Bucket，单击上传文件。

3. 引用JAR资源。

   1. 编辑引用JAR资源代码。

      在已创建的EMR Spark节点编辑页面，编辑引用JAR资源代码。

      spark-submit --class com.aliyun.emr.example.spark.SparkMaxComputeDemo --master yarn ossref://onaliyun-bucket-2/emr/jars/SparkWorkOSS-1.0-SNAPSHOT-jar-with-dependencies.jar

      引用参数说明：

      参数	参数说明
      class	运行的主类全名称。
      master	Spark应用程序的运行模式。
      ossref文件路径	格式为ossref://{endpoint}/{bucket}/{object} endpoint：OSS对外服务的访问域名。Endpoint为空时，仅支持使用与当前访问的EMR集群同地域的OSS，即OSS的Bucket需要与EMR集群所在地域相同。 Bucket：OSS用于存储对象的容器，每一个Bucket有唯一的名称，登录OSS管理控制台，可查看当前登录账号下所有Bucket。 object：存储在Bucket中的一个具体的对象（文件名称或路径）。

   2. 运行EMR Spark节点任务。

      编辑完成后您可单击图标，选择您所创建的Serverless资源组运行EMR Spark节点。待任务执行完成后，记录控制台打印的applicationIds，例如application_1730367929285_xxxx。

   3. 结果查看。

      创建EMR Shell节点并在EMR Shell节点执行yarn logs -applicationId application_1730367929285_xxxx命令查看运行结果：