部署集是阿里雲ECS(Elastic Compute Service)提供的能力,用於控制ECS執行個體分布的策略,從而提升ECS執行個體的容災能力和可用性。在建立EMR叢集或新增節點群組時,您可以選擇是否啟用部署集,並為不同節點群組配置不同的部署集策略,從而提升叢集的容災能力和可用性。本文介紹如何在建立叢集和新增節點群組時開啟加入部署集開關。
使用限制
本文操作僅適用於資料湖(DataLake)、即時資料流(DataFlow)、資料分析(OLAP)、資料服務(DataServing)和自訂叢集(Custom)情境的叢集。
建立叢集時配置的節點群組部署集,建立完成後不支援更改。
僅Master和Core類型的節點群組支援加入部署集。
最多支援20台ECS執行個體加入部署集。
部署集支援的執行個體規格類型系列資訊:
說明部分規格類型系列只支援特定的部署集策略,您可以調用DescribeDeploymentSetSupportedInstanceTypeFamily擷取各種部署集策略支援的執行個體規格類型系列資訊。
部署策略
支援的執行個體規格類型系列
高可用策略和部署集組高可用策略
g8i、g8y、g7se、g7a、g7、g7t、g7ne、g7nex、g6、g6e、g6a、g5、g5ne、sn2ne、sn2、sn1
c8i、c8y、c7se、c7、c7t、c7nex、c7a、c6、c6a、c6e、c5、ic5、sn1ne
r8y、r7、r7se、r7t、r7a、r6、r6e、r6a、re6、re6p、r5、re4、se1ne、se1
hfc7、hfg7、hfr7、hfc6、hfg6、hfr6、hfc5、hfg5
d3c、d2s、d2c、d1、d1ne、d1-c14d3、d1-c8d3
i3g、i3、i2、i2g、i2ne、i2gne、i1
ebmg5、ebmc7、ebmg7、ebmr7、sccgn6、scch5、scch5s、sccg5、sccg5s
e、t6、xn4、mn4、n4、e4、n2、n1、
gn6i
網路低時延策略
g8a、g8i、g8ae、g8y
c8a、c8i、c8ae、c8y
r8a、r8i、r8ae、r8y
ebmc7、ebmg7、ebmr7
注意事項
如果您的叢集資料存放區方案為本地HDFS儲存方案,且Core節點使用了本地碟機型(巨量資料型、本地SSD),建議您為使用本地碟機型的Core節點群組開啟部署集功能來提升資料安全性。
由於加入部署集後節點群組的節點數會受到限制,所以請您謹慎選擇是否為節點群組開啟加入部署集開關。
如果建立叢集時開啟服務高可用開關,則Master節點會預設開啟加入部署集開關。
EMR叢集釋放後會自動釋放叢集關聯的部署集,請勿在EMR自動建立的部署集內手動添加其他ECS執行個體。
建立叢集時開啟加入部署集
進入EMR on ECS頁面。
在左側導覽列,單擊EMR on ECS。
在頂部功能表列處,根據實際情況選擇地區和資源群組。
單擊上方的建立叢集。
在建立叢集時的硬體設定階段,如果節點群組類型為Master或Core,則會有加入部署集配置。開啟後,該節點群組內所有節點(包括後期新增節點)將加入部署集。
配置叢集資訊,具體請參見建立叢集。
建立節點群組時開啟加入部署集
進入節點管理頁面。
在左側導覽列,單擊EMR on ECS。
在頂部功能表列處,根據實際情況選擇地區和資源群組。
在EMR on ECS頁面,單擊目的地組群操作列的節點管理。
在節點管理頁面,單擊新增節點群組。
在新增節點群組頁面進行配置。如果節點群組類型為Core,則會有加入部署集配置。開啟後,該節點群組內所有節點(包括後期新增節點)會加入部署集。
新增節點群組的詳細資料,請參見新增節點群組。
查看部署集
登入ECS管理主控台。
在左側導覽列,選擇 。
在頁面左側頂部,選擇目標資源所在的資源群組和地區。
在部署集頁面,您可以查看叢集關聯的部署集資訊,部署集命名規則為emr-${clusterId}-default。
重要請勿操作EMR自動建立的部署集,以免影響叢集正常運行。
相關文檔
如需詳細瞭解部署集,請參見部署集概述。