全部產品
Search
文件中心

E-MapReduce:建立StarRocks叢集

更新時間:Dec 27, 2024

本文為您介紹建立StarRocks叢集的詳細操作步驟和相關配置。

前提條件

已在目標地區建立一個專用網路和交換器,詳情請參見建立和管理專用網路建立和管理交換器

操作步驟

  1. 進入建立叢集頁面。

    1. 登入E-MapReduce控制台

    2. 可選:在頂部功能表列處,根據實際情況選擇地區和資源群組。

      • 地區:建立的叢集將會在對應的地區內,一旦建立不能修改。

      • 資源群組:預設顯示帳號全部資源。

    3. 單擊上方的建立叢集,進行建立。

  2. 配置叢集資訊。

    建立叢集時,您需要對叢集進行軟體配置、硬體設定和基礎配置。

    重要

    叢集建立完成後,除了叢集名稱以外,其他配置均無法修改,所以在建立時請仔細確認各項配置。

    1. 軟體配置。

      配置項

      樣本

      描述

      地區

      華東1(杭州)

      建立的叢集將會在對應的地區內,一旦建立不能修改。

      業務情境

      資料分析情境

      選擇資料分析

      產品版本

      EMR-5.17.0

      預設最新的軟體版本。

      服務高可用

      關閉

      預設關閉。開啟後叢集會有三個Master節點來支援ResourceManager和NameNode的高可用。 您也可以修改節點數量。

      可選服務

      Starrocks2

      根據您的實際需求選擇其他的一些組件,被選中的組件會預設啟動相關的服務進程。

      允許採集服務作業記錄

      開啟

      支援一鍵開啟或關閉所有服務的日誌採集。預設開啟,將收集您的服務作業記錄,這些日誌僅供叢集診斷使用。

      叢集建立後,您可以在基礎資訊頁面,修改服務作業記錄收集狀態

      重要

      關閉日誌採集後,EMR的健全狀態檢查和支援人員將受到限制,但其他功能仍可正常使用。如何關閉及影響詳情,請參見如何停止採集服務日誌?

      DLF統一中繼資料

      勾選

      預設勾選,表示中繼資料存放區在資料湖構建DLF中。

      開通DLF後,系統會為您選擇預設的DLF資料目錄,預設為UID。如果針對不同叢集您期望使用不同的資料目錄,則可以按照以下方式建立目錄。

      1. 單擊建立資料目錄,在彈出的對話方塊中輸入目錄ID,單擊確定

      2. DLF資料目錄下拉式清單中,選擇您建立的資料目錄。

      進階設定

      不開啟

      軟體自訂配置:可指定JSON檔案對叢集中的基礎軟體(例如Hadoop、Spark和Hive等)進行配置。預設不開啟。

    2. 硬體設定。

      配置項

      樣本

      描述

      付費類型

      隨用隨付

      預設訂用帳戶。當前支援的付費類型如下:

      • 隨用隨付:一種後付費模式,即先使用再付費。隨用隨付是根據實際使用的小時數來支付費用,每小時計費一次,適合短期的測試工作或是靈活的動態任務。

      • 訂用帳戶:一種預付費模式,即先付費再使用。

        說明

        建議測試情境下使用隨用隨付,測試正常後再建立一個訂用帳戶的生產叢集正式使用。

      可用性區域

      華東1(杭州) 可用性區域 I

      可用性區域為在同一地區下的不同物理地區,可用性區域之間內網互連。通常使用預設的可用性區域即可。

      專用網路

      starrocks_test/vpc-bp1f4epmkvncimpgs****

      預設選擇已有的專用網路。

      如需建立新的專用網路,請在專用網路控制台新建立一個,詳情請參見建立和管理專用網路

      交換器

      vsw_test/vsw-bp1e2f5fhaplp0g6p****

      選擇在對應VPC下可用性區域的交換器,如果在這個可用性區域沒有可用的交換器,則需要在專用網路控制台新建立一個,詳情請參見建立和管理交換器

      預設安全性群組

      sg-bp1ddw7sm2risw****/sg-bp1ddw7sm2risw****

      預設選擇已有的安全性群組。安全性群組詳情請參見安全性群組概述

      您也可以單擊建立安全性群組,在ECS控制台建立一個安全性群組,詳情請參見建立安全性群組

      重要

      禁止使用ECS上建立的企業安全性群組。

      節點群組

      使用預設值

      您可以根據需要選擇執行個體規格,詳情請參見執行個體規格類型系列

      • Master:主要負責ResourceManager和NameNode等控制進程的部署。

      • Core:主要負責叢集所有資料的儲存,建立叢集完成後也支援按需進行擴容。

      • Task:不儲存資料,調整叢集的計算力使用。預設不開啟,需要時可自訂配置。

      • 加入部署集:開啟高可用後,Master預設加入部署集。部署集是控制執行個體分布的策略,詳情請參見部署集概述

      • 系統硬碟:根據需要選擇SSD雲端硬碟、ESSD雲端硬碟或者高效雲端硬碟。系統硬碟大小請根據需要調整。

      • 資料盤:根據需要選擇SSD雲端硬碟、ESSD雲端硬碟或者高效雲端硬碟。資料盤大小請根據需要調整。

        說明

        當您選擇ESSD雲端硬碟時,可以根據所選雲端硬碟的容量大小來設定不同的效能層級(PL層級),以滿足不同的叢集效能需求。預設的效能層級為PL1。根據云盤的容量範圍,系統硬碟支援PL0、PL1和PL2三個效能層級的雲端硬碟規格,資料盤支援PL0、PL1、PL2和PL3四個效能層級的雲端硬碟規格。雲端硬碟的詳細資料,請參見雲端硬碟概述

      • 執行個體數量:Master節點群組預設1台。如果開啟高可用,可以有多台Master執行個體。

        Core節點群組預設2台,您可以根據需要調整。

      • 附加安全性群組:附加安全性群組可以靈活定製不同的外部資源或應用程式之間的訪問。您最多可以為該節點群組關聯2個附加安全性群組。

      • 掛載公網:叢集是否掛載Elastic IP Address地址,預設不開啟。僅DataLake叢集支援節點群組層級掛載公網。

        說明

        如果您未開啟該功能,建立後您想使用公網IP地址訪問,請在ECS上申請開通公網IP地址,詳情請參見Elastic IP Address中的申請EIP的內容。

    3. 基礎配置。

      基礎資訊地區,配置如下參數。

      配置項

      樣本

      描述

      叢集名稱

      Emr-StarRocks

      叢集的名字,長度限制為1~64個字元,僅可使用中文、字母、數字、短劃線(-)和底線(_)。

      身份憑證

      自訂密碼

      金鑰組(預設):使用SSH金鑰組登入Linux執行個體。

      關於金鑰組的使用詳情,請參見SSH金鑰組

      密碼:設定Master節點的登入密碼,使用密碼對登入Linux執行個體。

      密碼規則:8~30個字元,且必須同時包含大寫字母、小寫字母、數字和特殊字元。

      特殊字元包括:驚嘆號(!)、at(@)、井號(#)、貨幣符號($)、百分比符號(%)、乘方(^)、and(&)和星號(*)。

      (可選)進階設定

      配置項

      說明

      ECS應用角色

      當使用者的程式在EMR計算節點上運行時,可不填寫阿里雲AccessKey來訪問相關的雲端服務(例如OSS),EMR會自動申請一個臨時AccessKey來授權本次訪問。ECS應用角色用於控制該AccessKey的許可權。

      引導操作

      在叢集啟動前執行的指令碼,可以安裝第三方軟體或者修改叢集運行環境,詳情請參見管理引導操作

      標籤

      您可以在建立叢集時綁定標籤,也可以在叢集建立完成後。添加標籤,可以方便您識別和管理擁有的叢集資源,詳情請參見設定標籤

      資源群組

      資源群組會對您擁有的雲資源從用途、許可權和歸屬等維度上進行分組,詳情請參見使用資源群組

      資料盤加密

      僅支援在建立叢集時開啟該功能。開啟該功能,資料盤上的動態資料傳輸以及待用資料都會被加密,詳情請參見開啟資料盤加密

  3. 確認訂單頁面,選中E-MapReduce服務條款複選框。

  4. (可選)儲存為叢集模板:如果身份認證選擇的金鑰組,則可以單擊儲存為叢集模板,儲存當前叢集的配置資訊為叢集模板。

    1. 保存为集群模板對話方塊中,輸入集群模板名称,選擇叢集模板資源群組

      參數

      說明

      集群模板名称

      輸入集群模板的名稱,方便後期管理。長度限制為1-64個字元,只允許包含中文、字母、數字、-、_。

      叢集模板資源群組

      根據需要選擇已有的資源群組,方便對模板進行分組管理。

      如果需要建立新的資源群組,您可以單擊下方的建立資源群組,詳情請參見建立資源群組

    2. 單擊確定

      即會在管理集群模板面板中新增一個叢集模板。叢集模板的詳細資料,請參見建立叢集模板

  5. 單擊確認訂單

    建立叢集後可以通過重新整理頁面來查看進度,當叢集狀態顯示為運行中時,表示叢集建立成功。

常見問題

Q:Master、Core與StarRocks中的FE和BE是什麼關係?

A:StarRocks的FE部署在Master節點,目前預設為一個節點。選擇高可用模式時,預設為3個節點,每個Master節點都會部署一個FE進程。開啟服務高可用開關即為高可用叢集,可以提供容錯和負載平衡的能力。

StarRocks的BE部署在Core節點,每個Core機器會部署一個StarRocks的BE進程,您可以根據實際業務情境選擇部署的節點數量。