新增節點群組

本文為您介紹DataLake、DataFlow、OLAP、DataServing和Custom叢集如何新增、修改和刪除節點群組。

背景資訊

節點群組是您使用阿里雲E-MapReduece服務對叢集節點進行管理的核心單元，通常是由相同規格的ECS執行個體組成。您可以通過對節點群組進行操作，批量管理一個組內的節點。您也可以根據業務規劃，建立不同規格的執行個體組。例如，記憶體型執行個體節點（vCore : vMem = 1 vCPU : 8 GiB）用於巨量資料離線處理，計算型執行個體（vCore : vMem =1 vCPU : 2 GiB）用於模型訓練。

Hadoop、Data Science和EMR Studio叢集節點群組的管理操作，請參見管理節點群組（Hadoop、Data Science和EMR Studio叢集）。

使用限制

本文操作僅適用於資料湖（DataLake）、即時資料流（DataFlow）、資料分析（OLAP）、資料服務（DataServing）和自訂叢集（Custom）情境的叢集。
付費類型為隨用隨付或搶佔式執行個體的Task節點群組不支援配置升級操作。
配置升級的具體操作，請參見升級節點配置。

進入節點管理頁面。
1. 登入E-MapReduce控制台。
2. 在頂部功能表列處，根據實際情況選擇地區和資源群組。
3. 單擊目的地組群操作列的節點管理。
在節點管理頁面，單擊新增節點群組。

在新增節點群組面板中，配置以下資訊。

參數	描述
節點群組類型	支援新增以下四種類型的節點群組： Core：核心類型節點群組。 Task：計算類型節點群組。 Gateway：任務類型節點群組（僅EMR-5.10.1及以上版本的DataLake、DataFlow叢集支援）。 Master-Extend：負載向外延展群組（僅EMR-3.51.1及以上版本，EMR-5.17.1及以上版本的高可用叢集支援）。當叢集Master節點負載較高時，您可以通過新增Master-Extend節點群組將服務分散部署在不同的節點群組上，來分擔Master節點的壓力。說明新增服務後，預設不會部署至Master-Extend節點群組。如果您有部署訴求，可以在新增Master-Extend節點群組時，按需勾選部署服務。
付費類型	當前節點群組的付費類型。支援的付費類型有隨用隨付、搶佔式執行個體和訂用帳戶。說明僅Task節點群組支援搶佔式執行個體。
節點群組名稱	節點群組名稱不允許重複。
部署服務	僅Master-Extend節點群組類型支援自訂部署服務。支援以下自訂部署的服務： Hive：HiveMetaStore、HiveServer Kyuubi：KyuubiServer Spark：SparkHistoryServer、SparkThriftServer
掛載公網	可以選擇是否為節點群組開啟公網。開啟後，節點群組內所有節點會掛載公網。
交換器	可以在建立節點群組的時候設定交換器（同一VPC內）。節點群組建立好之後不可更改。說明不支援設定非叢集所在可用性區域的VPC下的交換器。
附加安全性群組	（可選）您可以為節點群組關聯更多安全性群組。您最多可以為該節點群組關聯4個附加安全性群組。
執行個體類型	根據您的實際情況選擇執行個體。如果付費類型為訂用帳戶，則只能選擇一個類型。如果付費類型為隨用隨付或搶佔式執行個體，且節點群組類型為Task，則最多可以選擇10個同vCPU和記憶體的執行個體作為備選。
儲存配置	系統硬碟：根據需要選擇ESSD雲端硬碟或者高效雲端硬碟。系統硬碟取值範圍為60 ~ 500 GiB。推薦至少120 GiB。資料盤：根據需要選擇ESSD雲端硬碟或者高效雲端硬碟。資料盤取值範圍為40 ~ 32768 GiB。推薦至少80 GiB。說明當您選擇ESSD雲端硬碟時，可以根據所選雲端硬碟的容量大小來設定不同的效能層級（PL層級），以滿足不同的叢集效能需求。預設的效能層級為PL1。根據云盤的容量範圍，系統硬碟支援PL0、PL1和PL2三個效能層級的雲端硬碟規格，資料盤支援PL0、PL1、PL2和PL3四個效能層級的雲端硬碟規格。雲端硬碟的詳細資料，請參見雲端硬碟概述。
擴縮容策略	說明僅付費類型選擇為搶佔式執行個體時，支援配置該參數。優先順序策略（預設）每個節點建立時，從第一個規格開始嘗試購買，直到建立成功。最終購買的執行個體規格可能隨庫存變化而不同。成本最佳化策略擴容時Auto Scaling按vCPU單價從低到高嘗試建立ECS執行個體，縮容時按vCPU單價從高到低嘗試移除ECS執行個體。如果伸縮配置中計費方式選擇搶佔式執行個體，則優先建立搶佔式執行個體。由於庫存等原因無法建立各執行個體規格的搶佔式執行個體時，再自動嘗試建立隨用隨付執行個體。更多資訊，請參見成本最佳化模式。
優雅下線	說明僅部署了YARN服務的叢集，支援配置該參數。開啟優雅下線後，節點群組縮容時會等待節點任務完成或超過設定的逾時時間後，再縮容節點。您可以在YARN服務頁面配置參數yarn.resourcemanager.nodemanager-graceful-decommission-timeout-secs，以修改優雅下線逾時時間。

單擊確定。
添加完成後，即可在節點管理頁面查看到新增的節點群組。

修改節點群組

在節點管理頁面，單擊目標節點群組所在行的節點群組名稱。
在彈出的節點群組屬性對話方塊中，您可以修改節點群組的相關參數。

刪除節點群組

重要

當Task或Core類型的節點群組的狀態為運行中，且節點數量為0時，可以刪除節點群組。

在節點管理頁面，單擊目標節點群組操作列的刪除節點群組。
在彈出的對話方塊中，單擊刪除。

成本最佳化模式

該模式下，您可以制定更詳細的成本控制策略，在成本和穩定性之間進行調整和權衡。成本最佳化模式

參數	描述
組內最小按量節點數量	Auto Scaling組需要的按量執行個體的最小個數，當伸縮組中按量執行個體個數小於該值時，將優先建立按量執行個體。
按量節點所佔比例	Auto Scaling組內最小按量節點數量滿足之後，建立執行個體中按量執行個體所佔的比例。
最低價的多個執行個體規格	指定最低價的多個執行個體規格種類數。當建立搶佔執行個體時，將在這些規格種類中進行均衡分布。最大值為3。
搶佔執行個體補償	是否開啟競價執行個體的補償機制。開啟搶佔執行個體補償後，在競價執行個體被回收前5分鐘左右，將主動替換掉當前競價執行個體。

當您不指定組內最小按量節點數量、按量節點所佔比例和最低價的多個執行個體規格參數時，您建立的是普通成本最佳化伸縮組。否則，您建立的是成本最佳化混合執行個體伸縮組。成本最佳化混合執行個體伸縮組與普通成本最佳化伸縮組在介面和功能方面是完全相容的。

對於成本最佳化混合執行個體伸縮組，您可以通過合理制定混合執行個體策略，以實現與普通成本最佳化伸縮組完全相同的行為。例如：

普通成本最佳化伸縮組建立的全為按量執行個體
指定組內最小按量節點數量=0，按量節點所佔比例=100，最低價的多個執行個體規格=1。
普通成本最佳化伸縮組優先建立競價執行個體
指定組內最小按量節點數量=0，按量節點所佔比例=0，最低價的多個執行個體規格=1。

E-MapReduce：管理節點群組

背景資訊

使用限制