全部產品

E-MapReduce：管理預設配置

更新時間：Sep 15, 2024

阿里雲E-MapReduce (簡稱EMR) Serverless Spark提供了全域的Spark預設配置，以支援多樣化的任務執行和管理需求。該配置包含了運行特定任務所需的全部配置資訊，確保在任務提交時保持一致的配置和運行環境。

前提條件

已建立工作空間，詳情請參見管理工作空間。

配置參數

您可以在EMR Serverless Spark的組態管理頁面查看或修改參數。

參數	說明
引擎版本	當前Compute使用的引擎版本。引擎版本號碼含義等詳情請參見引擎版本介紹。
spark.driver.cores	用於指定Spark應用程式中Driver進程所使用的CPU核心數量。
spark.driver.memory	用於指定Spark應用程式中Driver進程可以使用的記憶體量。
spark.executor.cores	用於指定每個Executor進程可以使用的CPU核心數量。
spark.executor.memory	用於指定每個Executor進程可以使用的記憶體量。
spark.executor.instances	Spark分配的執行器（Executor）數量。
動態資源分派	預設關閉。開啟後，需要配置以下參數： executors數量下限：預設為2。 executors數量上限：如果未設定spark.executor.instances，則預設值為10。
更多記憶體配置	spark.driver.memoryOverhead：每個Driver可利用的非堆記憶體。如果未設定該參數，Spark會根據預設值自動分配，預設值為 `max（384MB, 10% × spark.driver.memory）`。 spark.executor.memoryOverhead：每個Executor可利用的非堆記憶體。如果未設定該參數，Spark會根據預設值自動分配，預設值為 `max（384MB, 10% × spark.executor.memory）`。 spark.memory.offHeap.size：Spark可用的堆外記憶體大小。預設值為1 GB。僅在`spark.memory.offHeap.enabled`設定為`true`時生效。預設情況下，當採用Fusion Engine時，該功能將處於啟用狀態，其非堆記憶體預設設定為1 GB。
Spark配置	填寫Spark配置資訊，預設以空格符分隔，例如，`spark.sql.catalog.paimon.metastore dlf`。