您可以通過Gateway叢集實現負載平衡和安全隔離,也可以通過Gateway叢集向E-MapReduce叢集提交作業。本文為您介紹如何在E-MapReduce中建立Gateway叢集。
前提條件
已經在E-MapReduce中建立了Hadoop叢集或Kafka叢集,詳情請參見建立叢集。
如果您在2022年12月19日17點(UTC+8)以後第一次建立EMR叢集,則不能選擇Hadoop、Kafka叢集類型。
使用限制
本文檔僅適用於Hadoop叢集和Kafka叢集。DataLake、OLAP和DataFlow叢集的Gateway環境部署資訊,請參見使用EMR-CLI自訂部署Gateway環境。
操作步驟
在EMR on ECS頁面,單擊目的地組群的叢集名稱。
在基礎資訊頁面,選擇右上方的全部操作>建立Gateway。
在建立Gateway頁面,配置各參數。
模組
參數
描述
關聯設定
地區
Gateway叢集所在的物理位置。
資源群組
選擇Gateway叢集所屬的資源群組。
如果需要建立新的資源群組,單擊建立資源群組,詳細資料請參見建立資源群組。
關聯集群
根據所選地區篩選出Gateway叢集可以關聯的計算叢集。待關聯的叢集有以下要求:
叢集狀態須為運行中。
僅支援關聯Hadoop或Kafka類型的叢集。
說明當選擇關聯集群之後,Gateway叢集的VPC預設與關聯集群一致。新舊版控制台的叢集均可關聯。
基礎設定
付費類型
訂用帳戶:一種預付費模式,即先付費再使用。
隨用隨付:一種後付費模式,即先使用再付費。隨用隨付是根據實際使用的小時數來支付費用,每小時計費一次,適合短期的測試工作或是靈活的動態任務。
可用性區域
關聯集群所在的可用性區域(Zone)。
交換器
選擇在對應的VPC下對應可用性區域的交換器。
預設安全性群組
關聯集群所屬的安全性群組。
掛載公網
Gateway是否掛載Elastic IP Address地址。
節點群組
執行個體類型:該地區內可選擇的ECS執行個體規格,詳細說明請參見執行個體規格類型系列。
系統硬碟:Gateway節點使用的系統硬碟類型。系統硬碟有高效雲端硬碟、ESSD雲端硬碟和SSD雲端硬碟三種,根據不同機型和不同的Region,系統硬碟顯示類型會有不同。系統硬碟預設隨著叢集的釋放而釋放。
系統硬碟大小請根據需要調整。取值範圍為60 ~ 500 GiB。
資料盤:Gateway節點使用的資料盤類型。資料盤有高效雲端硬碟、ESSD雲端硬碟和SSD雲端硬碟三種,根據不同機型和不同的Region,資料盤顯示類型會有不同。資料盤預設隨著叢集的釋放而釋放。
資料盤大小請根據需要調整。取值範圍為40 ~ 32768 GiB。
執行個體數量:預設1台,您可以根據需要調整。
叢集名稱
Gateway叢集的名稱,長度限制為1~64個字元,只允許包含中文、字母、數字、短劃線(-)、底線(_)。
身份憑證
登入Gateway叢集所有節點的使用者憑證。
密碼:在文字框中輸入登入Gateway的密碼。長度限制為8~30個字元,且必須同時包含大寫字母、小寫字母、數字和特殊字元。
支援輸入以下字元:
!@#$%^&*
金鑰組:在列表中選擇登入Gateway的金鑰組名稱。如果還未建立過金鑰組,則您可以單擊後面的建立金鑰組,進入ECS管理主控台進行建立。
請妥善保管好金鑰組所對應的私密金鑰檔案(.pem檔案)。Gateway建立成功後,該金鑰組的公開金鑰部分會自動綁定到Gateway所在的Elastic Compute Service上,當通過SSH登入Gateway時,您需要輸入私密金鑰檔案中的私密金鑰。
進階設定
ECS應用角色
通過RAM角色為在叢集上啟動並執行應用程式提供調用其他阿里雲服務所需的必要許可權,無需調整,使用預設即可。預設值為AliyunECSInstanceForEMRRole。
引導操作
標籤
可選配置,您可以在建立叢集時綁定標籤,也可以在叢集建立完成後,詳情請參見設定標籤。
資料盤加密
可選配置。僅支援在建立叢集時開啟該功能,詳情請參見開啟資料盤加密。
完成上述參數配置後,選中服務合約,單擊建立。
建立成功後,叢集的狀態變為空閑。