E-MapReduce:カスタム SparkConf パラメーター

パラメーター

説明

シナリオ

spark.emr.serverless.user.defined.jars

アップロードされた JAR パッケージを Serverless Spark ドライバーとエグゼキュータの ClassPath に追加します。

• サポートされるエンジンバージョン:

  • esr-4.x: esr-4.1.0 以降

  • esr-3.x: esr-3.1.0 以降

  • esr-2.x: esr-2.5.0 以降

• アップロードメソッド:

  • esr-4.2.0、esr-3.2.0、esr-2.6.0、およびそれ以降のバージョンの場合:

    • Serverless Spark の [ファイル管理] にファイルをアップロードできます。詳細については、「ファイルを管理する」をご参照ください。

      [マネージドファイルディレクトリ] タブで、オブジェクトファイルの [アクション] 列にある [アドレスのコピー] をクリックして、そのアドレスをコピーします。

    • Alibaba Cloud Object Storage Service (OSS) にアップロードします。詳細については、「単純なアップロード」をご参照ください。

      パスのフォーマットは oss://path/to/file1.jar,oss://path/to/file2.jar です。

  • esr-4.2.0、esr-3.2.0、または esr-2.6.0 より前のバージョンでは、パッケージを OSS にのみアップロードできます。詳細については、「単純なアップロード」をご参照ください。

    パスのフォーマットは oss://path/to/file1.jar,oss://path/to/file2.jar です。

このパラメーターを使用して、Spark-Submit ツール、バッチジョブ、または Airflow Serverless Spark Operator を使用して Spark タスクを送信するとき、またはセッションリソースを作成するときに、OSS からカスタム JAR パッケージを Spark ドライバーとエグゼキュータに追加します。

spark.emr.serverless.fusion

Kyuubi と Livy によって開始されたセッションまたはバッチ処理タスクに対して Fusion を有効にするかどうかを指定します。有効な値:

• false (デフォルト): シャットダウン

• true: 有効な状態を示します。

タスクまたはセッションで [Spark 構成] パラメーターを使用して Fusion を有効にできます。

spark.emr.serverless.environmentId

計算リソースに使用するランタイム環境の ID を指定します。

このパラメーターを使用して、Airflow または Spark-Submit ツールを使用して Serverless Spark タスクを送信するときに ランタイム環境 を指定します。デフォルトでは、サードパーティの依存ライブラリがランタイム環境にインストールされます。

spark.emr.serverless.network.service.name

計算リソースと他の VPC のデータソース間のネットワーク接続を有効にするためのネットワーク接続の名前を指定します。

このパラメーターを使用して、Serverless Spark タスクを送信するときにネットワーク接続を追加し、他の Virtual Private Cloud (VPC) のデータソースへのアクセスを許可します。

spark.emr.serverless.excludedModules

Serverless Spark から組み込みライブラリを削除します。

• esr-2.7.0、esr-3.3.0、esr-4.3.0、およびそれ以降のバージョンでは、次のライブラリを削除できます: paimon,hudi,iceberg,delta,celeborn,dlf,fusion,jindo,odps,mysql,doctor。

• esr-2.8.0、esr-3.4.0、esr-4.4.0、およびそれ以降のバージョンでは、kafka も削除できます。

このパラメーターは通常、カスタム JAR パッケージを使用する必要がある場合に使用されます。Serverless Spark コンソール、Spark-Submit ツール、バッチジョブ、Airflow Serverless Spark Operator、Kyuubi、または Livy から Spark タスクを送信するとき、またはセッションリソースを作成するときに、組み込みの Serverless Spark ライブラリを削除できます。

spark.emr.serverless.kyuubi.engine.queue

Kyuubi によって開始された Spark アプリケーションが実行されるワークスペースキューの名前を指定します。

このパラメーターは、Kyuubi 構成セクションで設定するか、接続を確立するときに JDBC URL で指定できます。

spark.emr.serverless.templateId

Spark アプリケーションのデフォルト構成テンプレートの ID を指定します。事前定義されたワークスペーステンプレートを参照することで、タスクを送信するときのパラメーター構成を簡素化できます。

[オペレーションセンター] > [構成管理] > [Spark 構成テンプレート] ページでテンプレート ID を取得できます。例: TPL-2b3859f8c0c8439faddc22f223c8****。

このパラメーターは、Spark-Submit ツールでのみサポートされます。

spark.emr.serverless.livy.config.mode

Spark タスクを送信するときに、Livy Gateway の spark-defaults.conf ファイルの設定を使用するかどうかを制御します。

• このパラメーターが設定されていない場合 (デフォルトの動作)、spark-defaults.conf ファイルの設定が自動的に読み込まれ、タスクに適用されます。

• ignore に設定

  このパラメーターを ignore に設定すると、Spark ジョブを送信するときに spark-defaults.conf ファイルの構成情報が無視されます。この場合、ジョブは明示的に指定した構成パラメーターまたはデフォルトの Spark 構成のみを使用します。

Spark タスクの構成を完全にカスタマイズするには、このパラメーターを ignore に設定します。Livy Gateway のデフォルトの構成動作を維持したい場合は、このパラメーターを設定しないでください。

spark.emr.serverless.tag.xxxx

Livy を介して送信されたバッチジョブに、spark.emr.serverless.tag.<key> <value> フォーマットでタグを追加できます。

このパラメーターを使用して、Livy Gateway を介して送信された Spark ジョブにタグを追加します。その後、ジョブ履歴でこれらのタグによってジョブをフィルターできます。