全部產品
Search
文件中心

E-MapReduce:管理配置項

更新時間:Jan 23, 2025

E-MapReduce提供控制台的方式修改、添加或查看HDFS、YARN和Spark等服務的配置項。本文為您介紹如何在E-MapReduce控制台管理配置項。

前提條件

已建立叢集,詳情請參見建立叢集

查看配置項

  1. 登入E-MapReduce控制台

  2. 在頂部功能表列處,根據實際情況選擇地區和資源群組

  3. EMR on ECS頁面,單擊目的地組群操作列的叢集服務

  4. 單擊目標服務地區的配置即可進入配置項查看頁面。

  5. 您可以通過搜尋方塊尋找需要查看的配置項。

說明
  • 如果某個配置項在節點群組或節點層級有修改,或與叢集層級的預設配置存在不一致,則該配置項將在叢集預設配置層級的頁面顯示節點群組或節點層級的配置資訊。

  • 查看某一配置項節點群組層級和節點層級配置值,需要指定具體的節點群組或節點名稱。

  • 同一配置項的配置值存在覆蓋關係。配置項的配置值是按節點、節點群組、叢集層級三層管理的,優先順序順序為:節點層級 > 節點群組層級 > 叢集層級。

在目標服務的配置頁簽中,預設展示叢集的預設配置項。在叢集預設配置層級的頁面,節點群組節點的配置項僅可查看。如需進行修改,可以在叢集預設配置下拉式清單中,選擇節點群組配置或者獨立節點配置,進行修改與儲存。部分節點、節點群組支援修改配置項請參見節點層級可修改的配置項

image

修改配置項

  1. 進入服務的配置頁面。

    1. 登入E-MapReduce控制台

    2. 在頂部功能表列處,根據實際情況選擇地區和資源群組

    3. 在EMR on ECS頁面,單擊目的地組群操作列的叢集服務

    4. 單擊目標服務地區的配置

  2. 修改配置。

    1. 在搜尋方塊中,輸入待修改的配置項。

    2. 找到您待修改的配置項後,修改對應的參數值。

  3. 儲存配置。

    1. 配置頁面,單擊保存

    2. 儲存對話方塊中,輸入执行原因,單擊保存

      說明

      儲存對話方塊中,儲存並下發配置開關預設開啟,儲存配置後,配置項將下發至用戶端。您可以通過手動生效方式使配置生效。如果您在儲存對話方塊中關閉了儲存並配置下發開關,則可以通過提示燈方式使配置生效。

  4. 生效配置。

    請根據您修改的參數類型執行以下操作,使修改的配置生效。

    提示燈生效方式

    說明

    該方式僅適用於EMR-5.12.1及後續版本,EMR-3.46.1及後續版本。

    • 用戶端類型配置

      1. 儲存完成後,會有image.png的提示燈。

      2. 單擊待下發提示燈。

      3. 在彈出的對話方塊中,單擊配置下發

        說明

        對於YARN服務,如果配置下發的配置項中有隊列相關的配置項,則在配置下發後,需要再單擊部署生效image.png的提示燈,才能使配置生效。

    • 服務端類型配置

      1. 儲存完成後,會有image.png的提示燈。

      2. 單擊待生效提示燈。

      3. 在彈出的對話方塊中,根據生效方式進行配置。

        • 自訂生效方式配置

          需要您手動單擊各生效操作。

        • 重啟生效方式配置

          1. 可以單擊重啟大量重啟

          2. 在彈出的對話方塊中,輸入執行原因,單擊確定

    手動生效方式

    • 用戶端類型配置

      1. 儲存完成後,單擊儲存右側部署用戶端配置

      2. 在彈出的對話方塊中,輸入執行原因,單擊確定

      3. 確認對話方塊中,單擊確定

    • 服務端類型配置

      1. 儲存完成後,在配置頁面,選擇更多操作 > 重啟

      2. 在彈出的對話方塊中,輸入執行原因,單擊確定

      3. 確認對話方塊中,單擊確定

添加配置項

  1. 進入服務的配置頁面。

    1. 登入E-MapReduce控制台

    2. 在頂部功能表列處,根據實際情況選擇地區和資源群組

    3. 在EMR on ECS頁面,單擊目的地組群操作列的叢集服務

    4. 單擊目標服務地區的配置

  2. 新增配置。

    1. 單擊需要操作的頁簽。

    2. 單擊上方的新增配置项

    3. 根據您的實際情況,添加配置項。

      一次可以添加多個配置項。

      配置項

      描述

      Key

      參數名。

      Value

      參數值。

      描述

      參數描述。

      操作

      支援刪除配置項。

    4. 新增完成後,單擊确定

    5. 在彈出的對話方塊中,輸入执行原因,單擊保存

  3. 生效配置。

    請根據您修改的參數類型執行以下操作,使修改的配置生效。

    提示燈生效方式

    說明

    該方式僅適用於EMR-5.12.1及後續版本,EMR-3.46.1及後續版本。

    • 用戶端類型配置

      1. 儲存完成後,會有image.png的提示燈。

      2. 單擊待下發提示燈。

      3. 在彈出的對話方塊中,單擊配置下發

        說明

        對於YARN服務,如果配置下發的配置項中有隊列相關的配置項,則在配置下發後,需要再單擊部署生效image.png的提示燈,才能使配置生效。

    • 服務端類型配置

      1. 儲存完成後,會有image.png的提示燈。

      2. 單擊待生效提示燈。

      3. 在彈出的對話方塊中,根據生效方式進行配置。

        • 自訂生效方式配置

          需要您手動單擊各生效操作。

        • 重啟生效方式配置

          1. 可以單擊重啟大量重啟

          2. 在彈出的對話方塊中,輸入執行原因,單擊確定

    手動生效方式

    • 用戶端類型配置

      1. 儲存完成後,單擊儲存右側部署用戶端配置

      2. 在彈出的對話方塊中,輸入執行原因,單擊確定

      3. 確認對話方塊中,單擊確定

    • 服務端類型配置

      1. 儲存完成後,在配置頁面,選擇更多操作 > 重啟

      2. 在彈出的對話方塊中,輸入執行原因,單擊確定

      3. 確認對話方塊中,單擊確定

節點層級可修改的配置項

本文以EMR-5.17.1版本為例介紹。

說明

kerberos相關的配置項,需要在開啟Kerberos安全認證的情境下顯示。

服務名

檔案名稱

節點/節點群組可修改的配置項

Hadoop-Common

core-site.xml

fs.oss.tmp.data.dirs

hadoop.tmp.dir

HDFS

hdfs-env.sh

hadoop_datanode_heapsize

hadoop_secondarynamenode_opts

hadoop_namenode_heapsize

hdfs-site.xml

dfs.datanode.data.dir

dfs.datanode.failed.volumes.tolerated

dfs.datanode.du.reserved

dfs.datanode.balance.max.concurrent.moves

OSS-HDFS

Hive

hive-env.sh

hive_metastore_heapsize

hive_server2_heapsize

Spark2

hiveserver2-site.xml

hive.server2.authentication.kerberos.principal

spark-env.sh

spark_history_daemon_memory

spark_thrift_daemon_memory

spark-thriftserver.conf

spark.yarn.historyServer.address

spark.hadoop.hive.server2.thrift.bind.host

spark.yarn.principal

spark-defaults.conf

spark.yarn.historyServer.address

spark.history.kerberos.principal

Spark3

hiveserver2-site.xml

hive.server2.authentication.kerberos.principal

spark-env.sh

spark_history_daemon_memory

spark_thrift_daemon_memory

spark-thriftserver.conf

spark.yarn.historyServer.address

spark.hadoop.hive.server2.thrift.bind.host

spark.kerberos.principal

spark-defaults.conf

spark.yarn.historyServer.address

spark.history.kerberos.principal

Tez

Trino

iceberg.properties

hive.hdfs.trino.principal

hive.metastore.client.principal

delta.properties

hive.hdfs.trino.principal

hive.metastore.client.principal

config.properties

coordinator

node-scheduler.include-coordinator

query.max-memory

query.max-total-memory

query.max-memory-per-node

http-server.authentication.type

http-server.authentication.krb5.user-mapping.pattern

http-server.authentication.krb5.service-name

http-server.authentication.krb5.keytab

http.authentication.krb5.config

http-server.https.enabled

http-server.https.port

http-server.https.keystore.key

http-server.https.keystore.path

event-listener.config-files

說明

event-listener.config-files用於指定事件監聽器(Event Listener)的設定檔路徑,在開啟Event Listener開關後可顯示。

jvm.config

jvm parameter

hudi.properties

hive.hdfs.trino.principal

hive.metastore.client.principal

password-authenticator.properties

ldap.url

ldap.user-bind-pattern

hive.properties

hive.hdfs.trino.principal

hive.metastore.client.principal

DeltaLake

Hudi

Iceberg

JindoData

storage.yaml

jindofsx.storage.cache-mode

storage.watermark.high.ratio

storage.watermark.low.ratio

storage.handler.threads

說明
  • JindoData適用於EMR-5.14.0及之前版本,EMR-3.48.0及之前版本。

  • EMR-5.15.0及之後版本、EMR-3.49.0及之後版本,不支援選擇JindoData。您可以使用JindoCache來實現緩衝功能,使用DLF-Auth來實現鑒權功能。

Flume

flume-conf.properties

agent_name

flume-conf.properties

Kyuubi

kyuubi-env.sh

kyuubi_java_opts

YARN

yarn-site.xml

yarn.nodemanager.resource.memory-mb

yarn.nodemanager.local-dirs

yarn.nodemanager.log-dirs

yarn.nodemanager.resource.cpu-vcores

yarn.nodemanager.address

yarn.nodemanager.node-labels.provider.configured-node-partition

yarn-env.sh

YARN_RESOURCEMANAGER_HEAPSIZE

YARN_TIMELINESERVER_HEAPSIZE

YARN_PROXYSERVER_HEAPSIZE

YARN_NODEMANAGER_HEAPSIZE

YARN_RESOURCEMANAGER_HEAPSIZE_MIN

YARN_TIMELINESERVER_HEAPSIZE_MIN

YARN_PROXYSERVER_HEAPSIZE_MIN

YARN_NODEMANAGER_HEAPSIZE_MIN

mapred-env.sh

HADOOP_JOB_HISTORYSERVER_HEAPSIZE

mapred-site.xml

mapreduce.cluster.local.dir

Impala

OpenLDAP

Ranger

Ranger-Plugin

DLF-Auth

Presto

iceberg.properties

hive.hdfs.presto.principal

hive.metastore.client.principal

delta.properties

hive.hdfs.presto.principal

hive.metastore.client.principal

hive.properties

hive.hdfs.presto.principal

hive.metastore.client.principal

config.properties

coordinator

node-scheduler.include-coordinator

query.max-memory-per-node

query.max-total-memory-per-node

http-server.authentication.type

http.authentication.krb5.principal-hostname

http.server.authentication.krb5.service-name

http.server.authentication.krb5.keytab

http.authentication.krb5.config

http-server.https.enabled

http-server.https.port

http-server.https.keystore.key

http-server.https.keystore.path

jvm.config

jvm parameter

hudi.properties

hive.hdfs.presto.principal

hive.metastore.client.principal

password-authenticator.properties

ldap.url

ldap.user-bind-pattern

Starrocks2

fe.conf

JAVA_OPTS

meta_dir

be.conf

storage_root_path

JAVA_OPTS

Starrocks3

fe.conf

JAVA_OPTS

meta_dir

be.conf

storage_root_path

JAVA_OPTS

Doris

fe.conf

JAVA_OPTS

JAVA_OPTS_FOR_JDK_9

meta_dir

be.conf

storage_root_path

ClickHouse

server-config

interserver_http_host

server-metrika

macros.shard

macros.replica

Zookeeper

Sqoop

Knox

Celeborn

celeborn-env.sh

CELEBORN_WORKER_MEMORY

CELEBORN_WORKER_OFFHEAP_MEMORY

CELEBORN_MASTER_MEMORY

celeborn-defaults.conf

celeborn.worker.storage.dirs

celeborn.worker.flusher.threads

Flink

flink-conf.yaml

security.kerberos.login.principal

security.kerberos.login.keytab

HBase

hbase-env.sh

hbase_master_opts

hbase_thrift_opts

hbase_rest_opts

hbase_regionserver_opts

hbase-site.xml

hbase.regionserver.handler.count

hbase.regionserver.global.memstore.size

hbase.regionserver.global.memstore.lowerLimit

hbase.regionserver.thread.compaction.throttle

hbase.regionserver.thread.compaction.large

hbase.regionserver.thread.compaction.small

HBASE-HDFS

hdfs-env.sh

hadoop_secondarynamenode_opts

hadoop_namenode_heapsize

hadoop_datanode_heapsize

hdfs-site.xml

dfs.datanode.data.dir

dfs.datanode.failed.volumes.tolerated

dfs.datanode.du.reserved

dfs.datanode.balance.max.concurrent.moves

JindoCache

Kafka

server.properties

broker.id

num.network.threads

num.io.threads

kafka.heap.opts

log.dirs

kafka.public-access.ip

listeners

advertised.listeners

說明

kafka.public-access.ip為Kafka Broker公網訪問的IP地址,用於配置開通公網時的監聽器(Listeners)。

kafka-internal-config

broker_id

user_params

is_local_disk_instance

Kudu

master.gflags

fs_data_dirs

fs_wal_dir

fs_metadata_dir

log_dir

tserver.gflags

fs_data_dirs

fs_wal_dir

fs_metadata_dir

log_dir

Paimon

Phoenix