全部產品
Search
文件中心

E-MapReduce:登入叢集

更新時間:Jul 01, 2024

通過與叢集主節點建立SSH串連,您可以使用終端上的Linux命令來管理和與叢集進行互動操作。此外,您還可以使用SSH串連建立隧道,以便通過Web瀏覽器查看開源組件的Web頁面。本文為您介紹如何在Windows和Linux環境中使用SSH方式(SSH金鑰組或SSH密碼方式)登入叢集。

前提條件

  • 已在EMR on ECS建立叢集,詳情請參見建立叢集

  • 確保本機伺服器與叢集主節點網路連通。您可以在建立叢集時開啟掛載公網開關,或者在叢集建立好之後在ECS控制台上為主節點掛載公網,為主節點ECS執行個體分配固定公網IP或EIP,詳情請參見綁定輔助彈性網卡

  • 叢集安全性群組已開放22連接埠。

登入叢集主節點

SSH密鑰方式

說明

如需擷取主節點的公網IP地址,請參見如何擷取主節點公網IP地址和節點名稱?

您可以通過以下三種方式登入叢集,詳細資料如下:

  • 本地使用Linux作業系統

    下面步驟以私密金鑰檔案ecs.pem為例進行介紹:

    1. 執行以下命令,修改私密金鑰檔案的屬性。

      chmod 400 ~/.ssh/ecs.pem

      ~/.ssh/ecs.pemecs.pem私密金鑰檔案在本機伺服器上的儲存路徑。

    2. 執行以下命令,串連主節點。

      ssh -i ~/.ssh/ecs.pem emr-user@<主節點公網IP地址>
  • 本地使用Windows作業系統(通過PuTTY配置資訊)

    您可以按照以下方式登入主節點。

    1. 下載PuTTY和PuTTYgen

    2. .pem私密金鑰檔案轉換為.ppk私密金鑰檔案。

      1. 運行PuTTYgen。本樣本中PuTTYgen版本為0.73。

      2. Actions地區,單擊Load,匯入建立叢集時儲存的私密金鑰檔案。

        匯入時注意確保匯入的格式要求為All files (*.*)

      3. 選擇待轉換的.pem私密金鑰檔案,單擊開啟

      4. 單擊Save private key

      5. 在彈出的對話方塊中,單擊,指定.ppk私密金鑰檔案的名稱,然後單擊儲存

        儲存轉化後的私密金鑰到本地。例如:kp-123.ppk

    3. 運行PuTTY。

    4. 選擇Connection > SSH > Auth,在最下面一個配置項Private key file for authentication中,單擊Browse,選擇轉化後的密鑰檔案。

    5. 單擊Session,在Host Name (or IP address)下的輸入框中,輸入登入帳號和主節點公網IP地址。

      格式為emr-user@[主節點公網IP地址],例如emr-user@10.10.**.**session

    6. 單擊Open

  • 本地使用Windows作業系統(通過命令配置資訊)

    開啟CMD,輸入以下命令登入叢集。

    ssh -i <.pem私密金鑰檔案在本地機上的儲存路徑> emr-user@<主節點公網IP地址>

SSH密碼方式

說明

以下步驟中涉及的使用者名稱,密碼分別是root使用者和建立叢集時設定的密碼。主節點公網IP地址請參見如何擷取主節點公網IP地址和節點名稱?

針對不同作業系統,詳細的操作步驟如下:

  • 本地使用Linux作業系統

    您可以在本地終端的命令列中運行如下命令串連主節點。

    ssh root@[主節點公網IP地址]
  • 本地使用Windows作業系統

    1. 下載並安裝PuTTY。

      下載連結:PuTTY

    2. 啟動PuTTY。

    3. 配置串連Linux執行個體所需的資訊。

      • Host Name (or IP address):輸入執行個體的固定公網IP或EIP。

      • Port:輸入22

      • Connection Type:選擇SSH

      • (可選)Saved Sessions:輸入一個便於識別的名稱,然後單擊Save即可儲存會話,下次登入時無需輸入公網IP等資訊。

    4. 單擊Open

    5. 輸入使用者名稱(預設為root),然後按斷行符號鍵。

      輸入完成後按斷行符號鍵即可,登入Linux執行個體時介面不會顯示密碼的輸入過程。

登入叢集其他節點

方法一:免密登入

您可以通過以下步驟登入Core節點或Task節點。

  • 資料湖(DataLake)、即時資料流(DataFlow)、資料分析(OLAP)、資料服務(DataServing)和自訂情境的叢集

    1. 登入叢集主節點,詳情請參見登入叢集主節點

    2. 在Master節點上切換到emr-user帳號。

      su emr-user
    3. 免密碼登入到對應的Core節點或Task節點。

      ssh core-1-1
  • 其餘叢集

    1. 登入叢集主節點,詳情請參見登入叢集主節點

    2. 在Master節點上切換到hadoop帳號。

      su hadoop
    3. 免密碼登入到對應的Core節點或Task節點。

      ssh emr-worker-1

方法二:直接連接ECS執行個體

  1. 進入節點管理頁面。

    1. 登入E-MapReduce控制台

    2. 在頂部功能表列處,根據實際情況選擇地區和資源群組

    3. 單擊目的地組群操作列的節點管理

  2. 節點管理頁面,單擊目標節點名稱下的ECS ID,即可進入ECS控制台。

  3. 在執行個體頁面,單擊重設執行個體密碼,詳情請參見重設執行個體登入密碼

    重要

    預設情況下,Core和Task類型節點未設定ECS登入密碼。如果需要使用密碼登入,請在ECS控制台中修改執行個體登入密碼。

  4. 重設密碼後,請選擇合適的工具串連節點ECS執行個體,詳情請參見串連方式概述

常見問題

如何擷取主節點公網IP地址和節點名稱?

  1. 進入節點管理頁面。

    1. 登入E-MapReduce控制台

    2. 在頂部功能表列處,根據實際情況選擇地區和資源群組

    3. 單擊目的地組群操作列的節點管理

  2. 節點管理頁面,單擊主執行個體組所在行的open表徵圖。

    Master IP

    • 公網IP:可以擷取主節點的公網IP地址。

    • 節點名稱:可以擷取主節點的節點名稱。

      叢集類型不同,對應的節點名稱不同:

      • 資料湖(DataLake)、即時資料流(DataFlow)、資料分析(OLAP)、資料服務(DataServing)和自訂情境的叢集:master-1-1。

      • 其餘叢集類型:emr-header-1。

如何在本地以免密方式登入叢集?

您可以通過以下步驟在本地以免密方式登入叢集。

  1. 開啟CMD,輸入以下命令產生公開金鑰。

    ssh-keygen

    本機伺服器目錄下會產生相應的公開金鑰檔案。ssh-key

  2. 將產生的公開金鑰加入至待訪問叢集的主節點上。

    1. 進入待訪問叢集的/.ssh目錄。

      cd ~/.ssh
    2. 配置主節點的密鑰。

      vim authorized_keys
    3. 添加本地公開金鑰中id_rsa的內容至authorized_keys中。

  3. 加入本地機器的IP地址至安全性群組。

    1. 擷取機器的公網訪問IP地址。

      為了安全地訪問叢集組件,在設定安全性群組策略時,推薦您只針對當前的公網訪問IP地址開放。擷取您當前公網訪問IP地址的方法是,訪問IP地址,即可查看您當前的公網訪問IP地址。

    2. 添加安全性群組規則,以開啟22連接埠。

      添加安全性群組規則,詳情請參見添加安全性群組規則Security group

  4. 在CMD中,輸入以下命令免密登入叢集。

    ssh root@<主節點公網IP地址>

建立叢集時的密碼可以用來登入叢集的節點嗎?

E-MapReduce叢集建立後,Master節點可以使用建立叢集時設定的密碼登入,其餘節點的登入方式,請查看登入叢集其他節點

如何重設密碼?

重設密碼需要前往ECS控制台操作。具體操作如下:

  1. 在E-Mapreduce控制台的節點管理頁面,找到待修改的節點。

  2. 單擊執行個體ID,跳轉至ECS控制台。image.png

  3. 在執行個體頁面,單擊重設執行個體密碼

    更多資訊,請參見重設執行個體登入密碼

相關文檔

您可以在SSH串連中建立隧道以查看開源組件的Web頁面,詳情請參見通過SSH隧道方式訪問開源組件Web UI