E-MapReduce：建立叢集

配置項

描述

地區

地區指資料中心所在的地理地區，選擇距離近的地區可以降低網路時延，執行個體建立完成後不支援更改地區。

在地區下拉式清單中選擇EMR執行個體所在的物理位置。

業務情境

請您根據自身實際情境進行選擇：

• 資料湖（DataLake）：提供更靈活、可靠、高效的管理叢集，更快的運行巨量資料計算引擎並提供出色的資料分析能力。

  • 支援構建資料湖架構，使用JindoFS進行資料湖加速。

  • 支援OSS-HDFS（全託管HDFS）作為儲存，減少您的營運成本，完全基於使用量計費。

  更多資訊，請參見資料湖叢集。

• 資料分析（OLAP）：將海量資料通過匯入或者外表等形式引入到OLAP分析引擎裡，例如，ClickHouse、StarRocks，提供高效、即時和靈活的資料分析能力，滿足使用者畫像、人群圈選、BI報表和業務分析等一系列的業務情境。

• 即時資料流（DataFlow）：是EMR平台上提供的Realtime Compute一站式解決方案，擁有分布式、高輸送量和高可擴充性的訊息系統Kafka和基於Apache Flink官方產品Ververica提供的Flink商業核心兩大組件，專註於解決Realtime Compute端到端的各類問題，廣泛應用於即時資料ETL和日誌採集分析等情境，您也可以單獨使用其中任一組件。

• 資料服務（DataServing）：

  • 提供更靈活、可靠、高效的資料服務叢集。

  • 提供半託管HBase叢集，同時可以基於OSS-HDFS（JindoFS服務）解耦計算叢集與資料存放區。

  • 支援JindoData本機快取以進一步提高資料服務叢集的讀寫效能。

  更多資訊，請參見資料服務叢集。

• 自訂叢集（Custom）：自訂叢集提供了豐富的服務搭配。您可以根據需求選擇需要的服務。

  說明

  在生產環境中，建議避免將多個儲存服務部署在同一個節點群組上。

產品版本

EMR產品的發行版本，詳細請參見發行版本。

服務高可用

預設關閉。開啟高可用後，EMR會建立多個Master節點來支援ResourceManager和NameNode的高可用，並將他們分布在多個底層硬體上，以降低故障風險。

可選服務

根據您的實際需求選擇其他的一些服務，被選中的服務會預設啟動相關的服務進程。

允許採集服務作業記錄

支援一鍵開啟或關閉所有服務的日誌採集。預設開啟，將收集您的服務作業記錄，這些日誌僅供叢集診斷使用。

叢集建立後，您可以在基礎資訊頁面，修改服務作業記錄收集狀態。

中繼資料

支援以下方式儲存和管理中繼資料：

• DLF統一中繼資料（推薦）：表示中繼資料存放區在資料湖構建DLF中。

  開通DLF後，系統會為您選擇預設的DLF資料目錄，預設為UID。如果針對不同叢集您期望使用不同的資料目錄，則可以按照以下方式建立目錄。

  1. 單擊建立資料目錄，在彈出的對話方塊中輸入目錄ID，單擊確定。

  2. 在DLF資料目錄下拉式清單中，選擇您建立的資料目錄。

• 自建RDS：選擇您自有的或阿里雲RDS執行個體作為中繼資料存放區。

  選擇該方式時，需要配置RDS相關的參數，詳情請參見配置自建RDS。

• 內建MySQL（不推薦）：該方式的中繼資料存放區在叢集本地環境的MySQL資料庫中。

  說明

  • 測試情境：推薦使用DLF統一中繼資料。

  • 生產情境：可以使用DLF統一中繼資料或自建RDS。

叢集儲存根路徑

當您在可選服務地區選取項目了OSS-HDFS服務時，需要配置該參數，如果選擇的是HDFS服務，則無需配置該參數。

首次使用OSS-HDFS服務時，阿里雲帳號（主帳號）需要單擊此處，根據提示資訊完成授權。RAM使用者需要阿里雲帳號授權開通並授予AliyunEMRDlsFullAccess許可權，以及AliyunOSSDlsDefaultRole和AliyunEMRDlsDefaultRole角色，詳情請參見為RAM使用者授權。選擇一個已在同一地區下開通了OSS-HDFS服務的Bucket，或者單擊建立OSS-HDFS執行個體，根據提示資訊建立一個OSS-HDFS執行個體，作為叢集的儲存根路徑。

配置項

說明

付費類型

預設為訂用帳戶。當前支援的付費類型如下：

• 隨用隨付：一種後付費模式，即先使用再付費。隨用隨付是根據實際使用的小時數來支付費用，每小時計費一次，適合短期的測試工作或是靈活的動態任務。

• 訂用帳戶：一種預付費模式，即先付費再使用。

  說明

  • 建議測試情境下使用隨用隨付，測試正常後再建立一個訂用帳戶的生產叢集正式使用。

  • 訂用帳戶執行個體還需選擇付費時間長度和是否開啟自動續約。預設續約時間長度為6個月，且開啟自動續約。開啟自動續約後，執行個體到期前7天會執行自動續約操作，詳情請參見續約說明。

可用性區域

可用性區域為在同一地區下的不同物理地區，可用性區域之間內網互連。通常使用預設的可用性區域即可。

專用網路

專用網路是您在阿里雲自己定義的一個隔離網路環境，您可以完全掌控自己的專用網路。

選擇已有的專用網路，或者單擊建立VPC前往專用網路控制台即時建立專用網路，詳情請參見建立和管理專用網路。

交換器

交換器（vSwitch）是組成Virtual Private Cloud的基礎網路模組，用來串連不同的雲資源。

選擇已有的交換器，或者單擊建立交換器前往專用網路控制台即時建立交換器，詳情請參見建立和管理交換器。

預設安全性群組

安全性群組是一種虛擬防火牆，用於控制安全性群組內執行個體的入流量和出流量。更多資訊，請參見安全性群組。

選擇已有的安全性群組，或者單擊建立安全性群組前往ECS控制台建立一個安全性群組，詳情請參見建立安全性群組。

節點群組

您可以根據需要選擇執行個體規格，詳情請參見執行個體規格類型系列。

• Master：主要負責ResourceManager和NameNode等控制進程的部署。

• Core：主要負責叢集所有資料的儲存，建立叢集完成後也支援按需進行擴容。

• Task：不儲存資料，調整叢集的計算力使用。預設不開啟，需要時可自訂配置。

  重要

  Task節點群組支援的付費類型有隨用隨付、搶佔式執行個體和訂用帳戶。

• 加入部署集：開啟高可用後，Master預設加入部署集。部署集是控制執行個體分布的策略，詳情請參見部署集。

• 系統硬碟：根據需要選擇SSD雲端硬碟、ESSD雲端硬碟或者高效雲端硬碟。系統硬碟大小請根據需要調整。

• 資料盤：根據需要選擇SSD雲端硬碟、ESSD雲端硬碟或者高效雲端硬碟。資料盤大小請根據需要調整。

  說明

  當您選擇ESSD雲端硬碟時，可以根據所選雲端硬碟的容量大小來設定不同的效能層級（PL層級），以滿足不同的叢集效能需求。預設的效能層級為PL1。根據云盤的容量範圍，系統硬碟支援PL0、PL1和PL2三個效能層級的雲端硬碟規格，資料盤支援PL0、PL1、PL2和PL3四個效能層級的雲端硬碟規格。雲端硬碟的詳細資料，請參見雲端硬碟概述。

• 執行個體數量：Master節點群組預設1台。如果開啟高可用，可以有多台Master執行個體。

  Core節點群組預設2台，您可以根據需要調整。

• 附加安全性群組：附加安全性群組可以靈活定製不同的外部資源或應用程式之間的訪問。您最多可以為該節點群組關聯2個附加安全性群組。

• 掛載公網：叢集是否掛載Elastic IP Address地址，預設不開啟。僅DataLake叢集支援節點群組層級掛載公網。

  說明

  如果您未開啟該功能，建立後您想使用公網IP地址訪問，請在ECS上申請開通公網IP地址，詳情請參見Elastic IP Address中的申請EIP的內容。

叢集伸縮

您可根據需要選擇Auto Scaling規則：

• 不使用Auto Scaling規則（預設）。

• 自訂Auto Scaling規則：需要自訂Auto Scaling規則，可按時間或按負載實現自動Auto Scaling。詳情請參見建立自訂Auto Scaling規則。

• 託管Auto Scaling規則：當您啟動叢集時，EMR會按託管伸縮規則預調配Task節點數量。詳情請參見建立託管Auto Scaling規則。

配置項

說明

叢集名稱

叢集的名字，長度限制為1~64個字元，僅可使用中文、字母、數字、短劃線（-）和底線（_）。

身份憑證

身份憑證用於安全地登入叢集的Master節點，登入操作請參見登入叢集。支援以下身份：

• 金鑰組（預設）：選擇已有的金鑰組，或者單擊建立金鑰組即時建立金鑰組。

  金鑰組是一種安全便捷的登入認證方式，由公開金鑰和私密金鑰組成，僅支援Linux執行個體。關於金鑰組的使用詳情，請參見SSH金鑰組。

• 密碼：設定Master節點的登入密碼，並輸入確認密碼。使用者名稱預設為root。

  • 密碼規則：8~30個字元，且必須同時包含大寫字母、小寫字母、數字和特殊字元。

  • 特殊字元包括：驚嘆號（!）、at（@）、井號（#）、貨幣符號（$）、百分比符號（%）、乘方（^）、and（&）和星號（*）。