DataWorks:EMR Spark ノードの作成

このノードは、OSS REF を使用して OSS リソースを直接参照できます。 EMR ノードを実行すると、DataWorks はコードからローカルマシンに OSS リソースを自動的にロードします。 この方法は、EMR タスクが JAR 依存関係を実行する必要がある、またはスクリプトに依存するシナリオでよく使用されます。

1. JAR リソースを開発します。

   1. コードの依存関係を準備します。

      EMR クラスターに移動します。 クラスターのマスターノードの /usr/lib/emr/spark-current/jars/ パスで、必要なコードの依存関係を表示します。 次の例では Spark 3.4.2 を使用しています。 作成した IntelliJ IDEA プロジェクトを開き、pom 依存関係を追加し、関連するプラグインを参照する必要があります。

      pom 依存関係の追加

      <dependencies>
              <dependency>
                  <groupId>org.apache.spark</groupId>
                  <artifactId>spark-core_2.12</artifactId>
                  <version>3.4.2</version>
              </dependency>
              <!-- Apache Spark SQL -->
              <dependency>
                  <groupId>org.apache.spark</groupId>
                  <artifactId>spark-sql_2.12</artifactId>
                  <version>3.4.2</version>
              </dependency>
      </dependencies>

      関連プラグインの参照

      <build>
              <sourceDirectory>src/main/scala</sourceDirectory>
              <testSourceDirectory>src/test/scala</testSourceDirectory>
              <plugins>
                  <plugin>
                      <groupId>org.apache.maven.plugins</groupId>
                      <artifactId>maven-compiler-plugin</artifactId>
                      <version>3.7.0</version>
                      <configuration>
                          <source>1.8</source>
                          <target>1.8</target>
                      </configuration>
                  </plugin>
                  <plugin>
                      <artifactId>maven-assembly-plugin</artifactId>
                      <configuration>
                          <descriptorRefs>
                              <descriptorRef>jar-with-dependencies</descriptorRef>
                          </descriptorRefs>
                      </configuration>
                      <executions>
                          <execution>
                              <id>make-assembly</id>
                              <phase>package</phase>
                              <goals>
                                  <goal>single</goal>
                              </goals>
                          </execution>
                      </executions>
                  </plugin>
                  <plugin>
                      <groupId>net.alchim31.maven</groupId>
                      <artifactId>scala-maven-plugin</artifactId>
                      <version>3.2.2</version>
                      <configuration>
                          <recompileMode>incremental</recompileMode>
                      </configuration>
                      <executions>
                          <execution>
                              <goals>
                                  <goal>compile</goal>
                                  <goal>testCompile</goal>
                              </goals>
                              <configuration>
                                  <args>
                                      <arg>-dependencyfile</arg>
                                      <arg>${project.build.directory}/.scala_dependencies</arg>
                                  </args>
                              </configuration>
                          </execution>
                      </executions>
                  </plugin>
              </plugins>
          </build>

   2. サンプルコードを記述します。

      package com.aliyun.emr.example.spark
      
      import org.apache.spark.sql.SparkSession
      
      object SparkMaxComputeDemo {
        def main(args: Array[String]): Unit = {
          // SparkSession を作成します
          val spark = SparkSession.builder()
            .appName("HelloDataWorks")
            .getOrCreate()
      
          // Spark バージョンを出力します
          println(s"Spark version: ${spark.version}")
        }
      }

   3. コードを JAR ファイルにパッケージ化します。

      Scala コードを編集して保存した後、それを JAR ファイルにパッケージ化します。 この例で生成される JAR パッケージは SparkWorkOSS-1.0-SNAPSHOT-jar-with-dependencies.jar です。

2. JAR リソースをアップロードします。

   1. コード開発が完了したら、OSS コンソールにログインします。 左側のナビゲーションウィンドウで、[バケット] をクリックします。

   2. ターゲットバケットの名前をクリックして、[ファイル] ページを開きます。

      この例で使用されるバケットは onaliyun-bucket-2 です。

   3. [ディレクトリの作成] をクリックして、JAR リソースディレクトリを作成します。

      [ディレクトリ名] を emr/jars に設定して、JAR リソース用のディレクトリを作成します。

   4. JAR リソースをディレクトリにアップロードします。

      ディレクトリに移動し、[アップロード] をクリックします。 [アップロードするファイル] エリアで、[ファイルをスキャン] をクリックします。 SparkWorkOSS-1.0-SNAPSHOT-jar-with-dependencies.jar ファイルを選択し、[アップロード] をクリックします。

3. JAR リソースを参照します。

   1. コードを編集して JAR リソースを参照します。

      作成した EMR Spark ノードのエディターページで、コードを編集して JAR リソースを参照します。

      spark-submit --class com.aliyun.emr.example.spark.SparkMaxComputeDemo --master yarn ossref://onaliyun-bucket-2/emr/jars/SparkWorkOSS-1.0-SNAPSHOT-jar-with-dependencies.jar

      パラメーターの説明:

      パラメーター	説明
      class	実行するメインクラスの完全名。
      master	Spark アプリケーションの実行モード。
      ossref ファイルパス	フォーマットは ossref://{endpoint}/{bucket}/{object} です [endpoint]: OSS にアクセスするためのエンドポイント。 エンドポイントが空の場合、EMR クラスターと同じリージョンの OSS のみを使用できます。 つまり、OSS バケットは EMR クラスターと同じリージョンにある必要があります。 [バケット]: オブジェクトを保存するために使用される OSS コンテナー。 各 [バケット] には一意の名前があります。 OSS コンソールにログインして、現在のアカウントのすべての [バケット] を表示します。 [object]: [バケット] に保存されている特定のオブジェクト (ファイル名またはパス)。

   2. EMR Spark ノードタスクを実行します。

      編集が完了したら、 アイコンをクリックします。 作成したサーバーレスリソースグループを選択して、EMR Spark ノードを実行します。 タスクが完了したら、コンソールに出力される applicationId (例: application_1730367929285_xxxx) を記録します。

   3. 結果を表示します。

      EMR Shell ノードを作成し、ノードで yarn logs -applicationId application_1730367929285_xxxx コマンドを実行して結果を表示します: