E-MapReduce提供控制台的方式修改、添加或查看HDFS、YARN和Spark等服務的配置項。本文為您介紹如何在E-MapReduce控制台管理配置項。
前提條件
已建立叢集,詳情請參見建立叢集。
查看配置項
在頂部功能表列處,根據實際情況選擇地區和資源群組。
在EMR on ECS頁面,單擊目的地組群操作列的叢集服務。
單擊目標服務地區的配置即可進入配置項查看頁面。
您可以通過搜尋方塊尋找需要查看的配置項。
如果某個配置項在節點群組或節點層級有修改,或與叢集層級的預設配置存在不一致,則該配置項將在叢集預設配置層級的頁面顯示節點群組或節點層級的配置資訊。
查看某一配置項節點群組層級和節點層級配置值,需要指定具體的節點群組或節點名稱。
同一配置項的配置值存在覆蓋關係。配置項的配置值是按節點、節點群組、叢集層級三層管理的,優先順序順序為:節點層級 > 節點群組層級 > 叢集層級。
在目標服務的配置頁簽中,預設展示叢集的預設配置項。在叢集預設配置層級的頁面,節點群組或節點的配置項僅可查看。如需進行修改,可以在叢集預設配置下拉式清單中,選擇節點群組配置或者獨立節點配置,進行修改與儲存。部分節點、節點群組支援修改配置項請參見節點層級可修改的配置項。
修改配置項
進入服務的配置頁面。
在頂部功能表列處,根據實際情況選擇地區和資源群組。
在EMR on ECS頁面,單擊目的地組群操作列的叢集服務。
單擊目標服務地區的配置。
修改配置。
在搜尋方塊中,輸入待修改的配置項。
找到您待修改的配置項後,修改對應的參數值。
儲存配置。
在配置頁面,單擊保存。
在儲存對話方塊中,輸入执行原因,單擊保存。
說明在儲存對話方塊中,儲存並下發配置開關預設開啟,儲存配置後,配置項將下發至用戶端。您可以通過手動生效方式使配置生效。如果您在儲存對話方塊中關閉了儲存並配置下發開關,則可以通過提示燈方式使配置生效。
生效配置。
請根據您修改的參數類型執行以下操作,使修改的配置生效。
提示燈生效方式
說明該方式僅適用於EMR-5.12.1及後續版本,EMR-3.46.1及後續版本。
用戶端類型配置
儲存完成後,會有
的提示燈。
單擊待下發提示燈。
在彈出的對話方塊中,單擊配置下發。
說明對於YARN服務,如果配置下發的配置項中有隊列相關的配置項,則在配置下發後,需要再單擊部署生效或
的提示燈,才能使配置生效。
服務端類型配置
儲存完成後,會有
的提示燈。
單擊待生效提示燈。
在彈出的對話方塊中,根據生效方式進行配置。
自訂生效方式配置
需要您手動單擊各生效操作。
重啟生效方式配置
可以單擊重啟或大量重啟。
在彈出的對話方塊中,輸入執行原因,單擊確定。
手動生效方式
用戶端類型配置
儲存完成後,單擊儲存右側部署用戶端配置。
在彈出的對話方塊中,輸入執行原因,單擊確定。
在確認對話方塊中,單擊確定。
服務端類型配置
儲存完成後,在配置頁面,選擇
。在彈出的對話方塊中,輸入執行原因,單擊確定。
在確認對話方塊中,單擊確定。
添加配置項
進入服務的配置頁面。
在頂部功能表列處,根據實際情況選擇地區和資源群組。
在EMR on ECS頁面,單擊目的地組群操作列的叢集服務。
單擊目標服務地區的配置。
新增配置。
單擊需要操作的頁簽。
單擊上方的新增配置项。
根據您的實際情況,添加配置項。
一次可以添加多個配置項。
配置項
描述
Key
參數名。
Value
參數值。
描述
參數描述。
操作
支援刪除配置項。
新增完成後,單擊确定。
在彈出的對話方塊中,輸入执行原因,單擊保存。
生效配置。
請根據您修改的參數類型執行以下操作,使修改的配置生效。
提示燈生效方式
說明該方式僅適用於EMR-5.12.1及後續版本,EMR-3.46.1及後續版本。
用戶端類型配置
儲存完成後,會有
的提示燈。
單擊待下發提示燈。
在彈出的對話方塊中,單擊配置下發。
說明對於YARN服務,如果配置下發的配置項中有隊列相關的配置項,則在配置下發後,需要再單擊部署生效或
的提示燈,才能使配置生效。
服務端類型配置
儲存完成後,會有
的提示燈。
單擊待生效提示燈。
在彈出的對話方塊中,根據生效方式進行配置。
自訂生效方式配置
需要您手動單擊各生效操作。
重啟生效方式配置
可以單擊重啟或大量重啟。
在彈出的對話方塊中,輸入執行原因,單擊確定。
手動生效方式
用戶端類型配置
儲存完成後,單擊儲存右側部署用戶端配置。
在彈出的對話方塊中,輸入執行原因,單擊確定。
在確認對話方塊中,單擊確定。
服務端類型配置
儲存完成後,在配置頁面,選擇
。在彈出的對話方塊中,輸入執行原因,單擊確定。
在確認對話方塊中,單擊確定。
節點層級可修改的配置項
本文以EMR-5.17.1版本為例介紹。
kerberos相關的配置項,需要在開啟Kerberos安全認證的情境下顯示。
服務名 | 檔案名稱 | 節點/節點群組可修改的配置項 |
Hadoop-Common | core-site.xml | fs.oss.tmp.data.dirs hadoop.tmp.dir |
HDFS | hdfs-env.sh | hadoop_datanode_heapsize hadoop_secondarynamenode_opts hadoop_namenode_heapsize |
hdfs-site.xml | dfs.datanode.data.dir dfs.datanode.failed.volumes.tolerated dfs.datanode.du.reserved dfs.datanode.balance.max.concurrent.moves | |
OSS-HDFS | 無 | 無 |
Hive | hive-env.sh | hive_metastore_heapsize hive_server2_heapsize |
Spark2 | hiveserver2-site.xml | hive.server2.authentication.kerberos.principal |
spark-env.sh | spark_history_daemon_memory spark_thrift_daemon_memory | |
spark-thriftserver.conf | spark.yarn.historyServer.address spark.hadoop.hive.server2.thrift.bind.host spark.yarn.principal | |
spark-defaults.conf | spark.yarn.historyServer.address spark.history.kerberos.principal | |
Spark3 | hiveserver2-site.xml | hive.server2.authentication.kerberos.principal |
spark-env.sh | spark_history_daemon_memory spark_thrift_daemon_memory | |
spark-thriftserver.conf | spark.yarn.historyServer.address spark.hadoop.hive.server2.thrift.bind.host spark.kerberos.principal | |
spark-defaults.conf | spark.yarn.historyServer.address spark.history.kerberos.principal | |
Tez | 無 | 無 |
Trino | iceberg.properties | hive.hdfs.trino.principal hive.metastore.client.principal |
delta.properties | hive.hdfs.trino.principal hive.metastore.client.principal | |
config.properties | coordinator node-scheduler.include-coordinator query.max-memory query.max-total-memory query.max-memory-per-node http-server.authentication.type http-server.authentication.krb5.user-mapping.pattern http-server.authentication.krb5.service-name http-server.authentication.krb5.keytab http.authentication.krb5.config http-server.https.enabled http-server.https.port http-server.https.keystore.key http-server.https.keystore.path event-listener.config-files 說明 event-listener.config-files用於指定事件監聽器(Event Listener)的設定檔路徑,在開啟Event Listener開關後可顯示。 | |
jvm.config | jvm parameter | |
hudi.properties | hive.hdfs.trino.principal hive.metastore.client.principal | |
password-authenticator.properties | ldap.url ldap.user-bind-pattern | |
hive.properties | hive.hdfs.trino.principal hive.metastore.client.principal | |
DeltaLake | 無 | 無 |
Hudi | 無 | 無 |
Iceberg | 無 | 無 |
JindoData | storage.yaml | jindofsx.storage.cache-mode storage.watermark.high.ratio storage.watermark.low.ratio storage.handler.threads 說明
|
Flume | flume-conf.properties | agent_name flume-conf.properties |
Kyuubi | kyuubi-env.sh | kyuubi_java_opts |
YARN | yarn-site.xml | yarn.nodemanager.resource.memory-mb yarn.nodemanager.local-dirs yarn.nodemanager.log-dirs yarn.nodemanager.resource.cpu-vcores yarn.nodemanager.address yarn.nodemanager.node-labels.provider.configured-node-partition |
yarn-env.sh | YARN_RESOURCEMANAGER_HEAPSIZE YARN_TIMELINESERVER_HEAPSIZE YARN_PROXYSERVER_HEAPSIZE YARN_NODEMANAGER_HEAPSIZE YARN_RESOURCEMANAGER_HEAPSIZE_MIN YARN_TIMELINESERVER_HEAPSIZE_MIN YARN_PROXYSERVER_HEAPSIZE_MIN YARN_NODEMANAGER_HEAPSIZE_MIN | |
mapred-env.sh | HADOOP_JOB_HISTORYSERVER_HEAPSIZE | |
mapred-site.xml | mapreduce.cluster.local.dir | |
Impala | 無 | 無 |
OpenLDAP | 無 | 無 |
Ranger | 無 | 無 |
Ranger-Plugin | 無 | 無 |
DLF-Auth | 無 | 無 |
Presto | iceberg.properties | hive.hdfs.presto.principal hive.metastore.client.principal |
delta.properties | hive.hdfs.presto.principal hive.metastore.client.principal | |
hive.properties | hive.hdfs.presto.principal hive.metastore.client.principal | |
config.properties | coordinator node-scheduler.include-coordinator query.max-memory-per-node query.max-total-memory-per-node http-server.authentication.type http.authentication.krb5.principal-hostname http.server.authentication.krb5.service-name http.server.authentication.krb5.keytab http.authentication.krb5.config http-server.https.enabled http-server.https.port http-server.https.keystore.key http-server.https.keystore.path | |
jvm.config | jvm parameter | |
hudi.properties | hive.hdfs.presto.principal hive.metastore.client.principal | |
password-authenticator.properties | ldap.url ldap.user-bind-pattern | |
Starrocks2 | fe.conf | JAVA_OPTS meta_dir |
be.conf | storage_root_path JAVA_OPTS | |
Starrocks3 | fe.conf | JAVA_OPTS meta_dir |
be.conf | storage_root_path JAVA_OPTS | |
Doris | fe.conf | JAVA_OPTS JAVA_OPTS_FOR_JDK_9 meta_dir |
be.conf | storage_root_path | |
ClickHouse | server-config | interserver_http_host |
server-metrika | macros.shard macros.replica | |
Zookeeper | 無 | 無 |
Sqoop | 無 | 無 |
Knox | 無 | 無 |
Celeborn | celeborn-env.sh | CELEBORN_WORKER_MEMORY CELEBORN_WORKER_OFFHEAP_MEMORY CELEBORN_MASTER_MEMORY |
celeborn-defaults.conf | celeborn.worker.storage.dirs celeborn.worker.flusher.threads | |
Flink | flink-conf.yaml | security.kerberos.login.principal security.kerberos.login.keytab |
HBase | hbase-env.sh | hbase_master_opts hbase_thrift_opts hbase_rest_opts hbase_regionserver_opts |
hbase-site.xml | hbase.regionserver.handler.count hbase.regionserver.global.memstore.size hbase.regionserver.global.memstore.lowerLimit hbase.regionserver.thread.compaction.throttle hbase.regionserver.thread.compaction.large hbase.regionserver.thread.compaction.small | |
HBASE-HDFS | hdfs-env.sh | hadoop_secondarynamenode_opts hadoop_namenode_heapsize hadoop_datanode_heapsize |
hdfs-site.xml | dfs.datanode.data.dir dfs.datanode.failed.volumes.tolerated dfs.datanode.du.reserved dfs.datanode.balance.max.concurrent.moves | |
JindoCache | 無 | 無 |
Kafka | server.properties | broker.id num.network.threads num.io.threads kafka.heap.opts log.dirs kafka.public-access.ip listeners advertised.listeners 說明
|
kafka-internal-config | broker_id | |
user_params | is_local_disk_instance | |
Kudu | master.gflags | fs_data_dirs fs_wal_dir fs_metadata_dir log_dir |
tserver.gflags | fs_data_dirs fs_wal_dir fs_metadata_dir log_dir | |
Paimon | 無 | 無 |
Phoenix | 無 | 無 |