如何管理配置項 - E-MapReduce

E-MapReduce提供控制台的方式修改、添加或查看HDFS、YARN和Spark等服務的配置項。本文為您介紹如何在E-MapReduce控制台管理配置項。

前提條件

已建立叢集，詳情請參見建立叢集。

查看配置項

登入E-MapReduce控制台。
在頂部功能表列處，根據實際情況選擇地區和資源群組。
在EMR on ECS頁面，單擊目的地組群操作列的叢集服務。
單擊目標服務地區的配置即可進入配置項查看頁面。
您可以通過搜尋方塊尋找需要查看的配置項。

說明

如果某個配置項在節點群組或節點層級有修改，或與叢集層級的預設配置存在不一致，則該配置項將在叢集預設配置層級的頁面顯示節點群組或節點層級的配置資訊。
查看某一配置項節點群組層級和節點層級配置值，需要指定具體的節點群組或節點名稱。
同一配置項的配置值存在覆蓋關係。配置項的配置值是按節點、節點群組、叢集層級三層管理的，優先順序順序為：節點層級 > 節點群組層級 > 叢集層級。

在目標服務的配置頁簽中，預設展示叢集的預設配置項。在叢集預設配置層級的頁面，節點群組或節點的配置項僅可查看。如需進行修改，可以在叢集預設配置下拉式清單中，選擇節點群組配置或者獨立節點配置，進行修改與儲存。部分節點、節點群組支援修改配置項請參見節點層級可修改的配置項。

修改配置項

進入服務的配置頁面。
1. 登入E-MapReduce控制台。
2. 在頂部功能表列處，根據實際情況選擇地區和資源群組。
3. 在EMR on ECS頁面，單擊目的地組群操作列的叢集服務。
4. 單擊目標服務地區的配置。
修改配置。
1. 在搜尋方塊中，輸入待修改的配置項。
2. 找到您待修改的配置項後，修改對應的參數值。
儲存配置。
1. 在配置頁面，單擊保存。
2. 在儲存對話方塊中，輸入执行原因，單擊保存。
  說明
  在儲存對話方塊中，儲存並下發配置開關預設開啟，儲存配置後，配置項將下發至用戶端。您可以通過手動生效方式使配置生效。如果您在儲存對話方塊中關閉了儲存並配置下發開關，則可以通過提示燈方式使配置生效。
生效配置。
請根據您修改的參數類型執行以下操作，使修改的配置生效。
提示燈生效方式
說明
該方式僅適用於EMR-5.12.1及後續版本，EMR-3.46.1及後續版本。
- 用戶端類型配置
  1. 儲存完成後，會有的提示燈。
  2. 單擊待下發提示燈。
  3. 在彈出的對話方塊中，單擊配置下發。
    說明
    對於YARN服務，如果配置下發的配置項中有隊列相關的配置項，則在配置下發後，需要再單擊部署生效或的提示燈，才能使配置生效。
- 服務端類型配置
  1. 儲存完成後，會有的提示燈。
  2. 單擊待生效提示燈。
  3. 在彈出的對話方塊中，根據生效方式進行配置。
    自訂生效方式配置
    需要您手動單擊各生效操作。
    重啟生效方式配置
    可以單擊重啟或大量重啟。
    在彈出的對話方塊中，輸入執行原因，單擊確定。
手動生效方式
- 用戶端類型配置
  1. 儲存完成後，單擊儲存右側部署用戶端配置。
  2. 在彈出的對話方塊中，輸入執行原因，單擊確定。
  3. 在確認對話方塊中，單擊確定。
- 服務端類型配置
  1. 儲存完成後，在配置頁面，選擇更多操作 > 重啟。
  2. 在彈出的對話方塊中，輸入執行原因，單擊確定。
  3. 在確認對話方塊中，單擊確定。

添加配置項

進入服務的配置頁面。
1. 登入E-MapReduce控制台。
2. 在頂部功能表列處，根據實際情況選擇地區和資源群組。
3. 在EMR on ECS頁面，單擊目的地組群操作列的叢集服務。
4. 單擊目標服務地區的配置。
新增配置。
1. 單擊需要操作的頁簽。
2. 單擊上方的新增配置项。
3. 根據您的實際情況，添加配置項。
  一次可以添加多個配置項。
  配置項
  描述
  Key
  參數名。
  Value
  參數值。
  描述
  參數描述。
  操作
  支援刪除配置項。
4. 新增完成後，單擊确定。
5. 在彈出的對話方塊中，輸入执行原因，單擊保存。
生效配置。
請根據您修改的參數類型執行以下操作，使修改的配置生效。
提示燈生效方式
說明
該方式僅適用於EMR-5.12.1及後續版本，EMR-3.46.1及後續版本。
- 用戶端類型配置
  1. 儲存完成後，會有的提示燈。
  2. 單擊待下發提示燈。
  3. 在彈出的對話方塊中，單擊配置下發。
    說明
    對於YARN服務，如果配置下發的配置項中有隊列相關的配置項，則在配置下發後，需要再單擊部署生效或的提示燈，才能使配置生效。
- 服務端類型配置
  1. 儲存完成後，會有的提示燈。
  2. 單擊待生效提示燈。
  3. 在彈出的對話方塊中，根據生效方式進行配置。
    自訂生效方式配置
    需要您手動單擊各生效操作。
    重啟生效方式配置
    可以單擊重啟或大量重啟。
    在彈出的對話方塊中，輸入執行原因，單擊確定。
手動生效方式
- 用戶端類型配置
  1. 儲存完成後，單擊儲存右側部署用戶端配置。
  2. 在彈出的對話方塊中，輸入執行原因，單擊確定。
  3. 在確認對話方塊中，單擊確定。
- 服務端類型配置
  1. 儲存完成後，在配置頁面，選擇更多操作 > 重啟。
  2. 在彈出的對話方塊中，輸入執行原因，單擊確定。
  3. 在確認對話方塊中，單擊確定。

節點層級可修改的配置項

本文以EMR-5.17.1版本為例介紹。

說明

kerberos相關的配置項，需要在開啟Kerberos安全認證的情境下顯示。

服務名	檔案名稱	節點/節點群組可修改的配置項
Hadoop-Common	core-site.xml	fs.oss.tmp.data.dirs hadoop.tmp.dir
HDFS	hdfs-env.sh	hadoop_datanode_heapsize hadoop_secondarynamenode_opts hadoop_namenode_heapsize
HDFS	hdfs-site.xml	dfs.datanode.data.dir dfs.datanode.failed.volumes.tolerated dfs.datanode.du.reserved dfs.datanode.balance.max.concurrent.moves
OSS-HDFS	無	無
Hive	hive-env.sh	hive_metastore_heapsize hive_server2_heapsize
Spark2	hiveserver2-site.xml	hive.server2.authentication.kerberos.principal
	spark-env.sh	spark_history_daemon_memory spark_thrift_daemon_memory
	spark-thriftserver.conf	spark.yarn.historyServer.address spark.hadoop.hive.server2.thrift.bind.host spark.yarn.principal
	spark-defaults.conf	spark.yarn.historyServer.address spark.history.kerberos.principal
Spark3	hiveserver2-site.xml	hive.server2.authentication.kerberos.principal
	spark-env.sh	spark_history_daemon_memory spark_thrift_daemon_memory
	spark-thriftserver.conf	spark.yarn.historyServer.address spark.hadoop.hive.server2.thrift.bind.host spark.kerberos.principal
	spark-defaults.conf	spark.yarn.historyServer.address spark.history.kerberos.principal
Tez	無	無
Trino	iceberg.properties	hive.hdfs.trino.principal hive.metastore.client.principal
	delta.properties	hive.hdfs.trino.principal hive.metastore.client.principal
	config.properties	coordinator node-scheduler.include-coordinator query.max-memory query.max-total-memory query.max-memory-per-node http-server.authentication.type http-server.authentication.krb5.user-mapping.pattern http-server.authentication.krb5.service-name http-server.authentication.krb5.keytab http.authentication.krb5.config http-server.https.enabled http-server.https.port http-server.https.keystore.key http-server.https.keystore.path event-listener.config-files 說明 event-listener.config-files用於指定事件監聽器（Event Listener）的設定檔路徑，在開啟Event Listener開關後可顯示。
	jvm.config	jvm parameter
	hudi.properties	hive.hdfs.trino.principal hive.metastore.client.principal
	password-authenticator.properties	ldap.url ldap.user-bind-pattern
	hive.properties	hive.hdfs.trino.principal hive.metastore.client.principal
DeltaLake	無	無
Hudi	無	無
Iceberg	無	無
JindoData	storage.yaml	jindofsx.storage.cache-mode storage.watermark.high.ratio storage.watermark.low.ratio storage.handler.threads 說明 JindoData適用於EMR-5.14.0及之前版本，EMR-3.48.0及之前版本。 EMR-5.15.0及之後版本、EMR-3.49.0及之後版本，不支援選擇JindoData。您可以使用JindoCache來實現緩衝功能，使用DLF-Auth來實現鑒權功能。
Flume	flume-conf.properties	agent_name flume-conf.properties
Kyuubi	kyuubi-env.sh	kyuubi_java_opts
YARN	yarn-site.xml	yarn.nodemanager.resource.memory-mb yarn.nodemanager.local-dirs yarn.nodemanager.log-dirs yarn.nodemanager.resource.cpu-vcores yarn.nodemanager.address yarn.nodemanager.node-labels.provider.configured-node-partition
	yarn-env.sh	YARN_RESOURCEMANAGER_HEAPSIZE YARN_TIMELINESERVER_HEAPSIZE YARN_PROXYSERVER_HEAPSIZE YARN_NODEMANAGER_HEAPSIZE YARN_RESOURCEMANAGER_HEAPSIZE_MIN YARN_TIMELINESERVER_HEAPSIZE_MIN YARN_PROXYSERVER_HEAPSIZE_MIN YARN_NODEMANAGER_HEAPSIZE_MIN
	mapred-env.sh	HADOOP_JOB_HISTORYSERVER_HEAPSIZE
	mapred-site.xml	mapreduce.cluster.local.dir
Impala	無	無
OpenLDAP	無	無
Ranger	無	無
Ranger-Plugin	無	無
DLF-Auth	無	無
Presto	iceberg.properties	hive.hdfs.presto.principal hive.metastore.client.principal
	delta.properties	hive.hdfs.presto.principal hive.metastore.client.principal
	hive.properties	hive.hdfs.presto.principal hive.metastore.client.principal
	config.properties	coordinator node-scheduler.include-coordinator query.max-memory-per-node query.max-total-memory-per-node http-server.authentication.type http.authentication.krb5.principal-hostname http.server.authentication.krb5.service-name http.server.authentication.krb5.keytab http.authentication.krb5.config http-server.https.enabled http-server.https.port http-server.https.keystore.key http-server.https.keystore.path
	jvm.config	jvm parameter
	hudi.properties	hive.hdfs.presto.principal hive.metastore.client.principal
	password-authenticator.properties	ldap.url ldap.user-bind-pattern
Starrocks2	fe.conf	JAVA_OPTS meta_dir
Starrocks2	be.conf	storage_root_path JAVA_OPTS
Starrocks3	fe.conf	JAVA_OPTS meta_dir
Starrocks3	be.conf	storage_root_path JAVA_OPTS
Doris	fe.conf	JAVA_OPTS JAVA_OPTS_FOR_JDK_9 meta_dir
Doris	be.conf	storage_root_path
ClickHouse	server-config	interserver_http_host
ClickHouse	server-metrika	macros.shard macros.replica
Zookeeper	無	無
Sqoop	無	無
Knox	無	無
Celeborn	celeborn-env.sh	CELEBORN_WORKER_MEMORY CELEBORN_WORKER_OFFHEAP_MEMORY CELEBORN_MASTER_MEMORY
Celeborn	celeborn-defaults.conf	celeborn.worker.storage.dirs celeborn.worker.flusher.threads
Flink	flink-conf.yaml	security.kerberos.login.principal security.kerberos.login.keytab
HBase	hbase-env.sh	hbase_master_opts hbase_thrift_opts hbase_rest_opts hbase_regionserver_opts
HBase	hbase-site.xml	hbase.regionserver.handler.count hbase.regionserver.global.memstore.size hbase.regionserver.global.memstore.lowerLimit hbase.regionserver.thread.compaction.throttle hbase.regionserver.thread.compaction.large hbase.regionserver.thread.compaction.small
HBASE-HDFS	hdfs-env.sh	hadoop_secondarynamenode_opts hadoop_namenode_heapsize hadoop_datanode_heapsize
HBASE-HDFS	hdfs-site.xml	dfs.datanode.data.dir dfs.datanode.failed.volumes.tolerated dfs.datanode.du.reserved dfs.datanode.balance.max.concurrent.moves
JindoCache	無	無
Kafka	server.properties	broker.id num.network.threads num.io.threads kafka.heap.opts log.dirs kafka.public-access.ip listeners advertised.listeners 說明 `kafka.public-access.ip`為Kafka Broker公網訪問的IP地址，用於配置開通公網時的監聽器（Listeners）。
	kafka-internal-config	broker_id
	user_params	is_local_disk_instance
Kudu	master.gflags	fs_data_dirs fs_wal_dir fs_metadata_dir log_dir
Kudu	tserver.gflags	fs_data_dirs fs_wal_dir fs_metadata_dir log_dir
Paimon	無	無
Phoenix	無	無

配置項	描述
Key	參數名。
Value	參數值。
描述	參數描述。
操作	支援刪除配置項。