全部产品

开源大数据平台E-MapReduce：管理默认配置

更新时间：Sep 14, 2024

阿里云E-MapReduce (简称EMR) Serverless Spark提供了全局的Spark默认配置，以支持多样化的任务执行和管理需求。该配置包含了运行特定任务所需的全部配置信息，确保在任务提交时保持一致的配置和运行环境。

前提条件

已创建工作空间，详情请参见管理工作空间。

配置参数

您可以在EMR Serverless Spark的配置管理页面查看或修改参数。

参数	说明
引擎版本	当前Compute使用的引擎版本。引擎版本号含义等详情请参见引擎版本介绍。
spark.driver.cores	用于指定Spark应用程序中Driver进程所使用的CPU核心数量。
spark.driver.memory	用于指定Spark应用程序中Driver进程可以使用的内存量。
spark.executor.cores	用于指定每个Executor进程可以使用的CPU核心数量。
spark.executor.memory	用于指定每个Executor进程可以使用的内存量。
spark.executor.instances	Spark分配的执行器（Executor）数量。
动态资源分配	默认关闭。开启后，需要配置以下参数： executors数量下限：默认为2。 executors数量上限：如果未设置spark.executor.instances，则默认值为10。
更多内存配置	spark.driver.memoryOverhead：每个Driver可利用的非堆内存。如果未设置该参数，Spark会根据默认值自动分配，默认值为 `max（384MB, 10% × spark.driver.memory）`。 spark.executor.memoryOverhead：每个Executor可利用的非堆内存。如果未设置该参数，Spark会根据默认值自动分配，默认值为 `max（384MB, 10% × spark.executor.memory）`。 spark.memory.offHeap.size：Spark可用的堆外内存大小。默认值为1 GB。仅在`spark.memory.offHeap.enabled`设置为`true`时生效。默认情况下，当采用Fusion Engine时，该功能将处于启用状态，其非堆内存默认设置为1 GB。
Spark配置	填写Spark配置信息，默认以空格符分隔，例如，`spark.sql.catalog.paimon.metastore dlf`。