全部產品
Search
文件中心

E-MapReduce:開啟部署集

更新時間:Jul 01, 2024

部署集是阿里雲ECS(Elastic Compute Service)提供的能力,用於控制ECS執行個體分布的策略,從而提升ECS執行個體的容災能力和可用性。在建立EMR叢集或新增節點群組時,您可以選擇是否啟用部署集,並為不同節點群組配置不同的部署集策略,從而提升叢集的容災能力和可用性。本文介紹如何在建立叢集和新增節點群組時開啟加入部署集開關。

使用限制

  • 本文操作僅適用於資料湖(DataLake)、即時資料流(DataFlow)、資料分析(OLAP)、資料服務(DataServing)和自訂叢集(Custom)情境的叢集。

  • 建立叢集時配置的節點群組部署集,建立完成後不支援更改。

  • 僅Master和Core類型的節點群組支援加入部署集。

  • 最多支援20台ECS執行個體加入部署集。

  • 部署集支援的執行個體規格類型系列資訊:

    說明

    部分規格類型系列只支援特定的部署集策略,您可以調用DescribeDeploymentSetSupportedInstanceTypeFamily擷取各種部署集策略支援的執行個體規格類型系列資訊。

    部署策略

    支援的執行個體規格類型系列

    高可用策略和部署集組高可用策略

    • g8i、g8y、g7se、g7a、g7、g7t、g7ne、g7nex、g6、g6e、g6a、g5、g5ne、sn2ne、sn2、sn1

    • c8i、c8y、c7se、c7、c7t、c7nex、c7a、c6、c6a、c6e、c5、ic5、sn1ne

    • r8y、r7、r7se、r7t、r7a、r6、r6e、r6a、re6、re6p、r5、re4、se1ne、se1

    • hfc7、hfg7、hfr7、hfc6、hfg6、hfr6、hfc5、hfg5

    • d3c、d2s、d2c、d1、d1ne、d1-c14d3、d1-c8d3

    • i3g、i3、i2、i2g、i2ne、i2gne、i1

    • ebmg5、ebmc7、ebmg7、ebmr7、sccgn6、scch5、scch5s、sccg5、sccg5s

    • e、t6、xn4、mn4、n4、e4、n2、n1、

    • gn6i

    網路低時延策略

    • g8a、g8i、g8ae、g8y

    • c8a、c8i、c8ae、c8y

    • r8a、r8i、r8ae、r8y

    • ebmc7、ebmg7、ebmr7

注意事項

  • 如果您的叢集資料存放區方案為本地HDFS儲存方案,且Core節點使用了本地碟機型(巨量資料型、本地SSD),建議您為使用本地碟機型的Core節點群組開啟部署集功能來提升資料安全性。

  • 由於加入部署集後節點群組的節點數會受到限制,所以請您謹慎選擇是否為節點群組開啟加入部署集開關。

  • 如果建立叢集時開啟服務高可用開關,則Master節點會預設開啟加入部署集開關。

  • EMR叢集釋放後會自動釋放叢集關聯的部署集,請勿在EMR自動建立的部署集內手動添加其他ECS執行個體。

建立叢集時開啟加入部署集

  1. 進入EMR on ECS頁面。

    1. 登入E-MapReduce控制台

    2. 在左側導覽列,單擊EMR on ECS

    3. 在頂部功能表列處,根據實際情況選擇地區和資源群組

  2. 單擊上方的建立叢集

  3. 在建立叢集時的硬體設定階段,如果節點群組類型為Master或Core,則會有加入部署集配置。開啟後,該節點群組內所有節點(包括後期新增節點)將加入部署集。

    配置叢集資訊,具體請參見建立叢集部署集

建立節點群組時開啟加入部署集

  1. 進入節點管理頁面。

    1. 登入E-MapReduce控制台

    2. 在左側導覽列,單擊EMR on ECS

    3. 在頂部功能表列處,根據實際情況選擇地區和資源群組

    4. EMR on ECS頁面,單擊目的地組群操作列的節點管理

  2. 節點管理頁面,單擊新增節點群組

  3. 新增節點群組頁面進行配置。如果節點群組類型為Core,則會有加入部署集配置。開啟後,該節點群組內所有節點(包括後期新增節點)會加入部署集。

    新增節點群組的詳細資料,請參見新增節點群組

    建立節點群組

查看部署集

  1. 登入ECS管理主控台

  2. 在左側導覽列,選擇部署與彈性 > icon1 > 部署集

  3. 在頁面左側頂部,選擇目標資源所在的資源群組和地區。地區

  4. 在部署集頁面,您可以查看叢集關聯的部署集資訊,部署集命名規則為emr-${clusterId}-default。

    重要

    請勿操作EMR自動建立的部署集,以免影響叢集正常運行。

    部署集

相關文檔

如需詳細瞭解部署集,請參見部署集概述