全部產品
Search
文件中心

E-MapReduce:訪問連結與連接埠

更新時間:Jul 11, 2024

通過訪問連結與連接埠功能,您可以方便地通過控制台方式訪問叢集中已安裝開源組件Web UI的地址。本文將介紹如何設定安全性群組規則和訪問連結,以便查看叢集中開源組件的UI介面。

前提條件

已建立E-MapReduce叢集,詳情請參見建立叢集

背景資訊

方式

優點

限制

方式一:通過Knox服務代理訪問開源組件UI

  • 只需在叢集安全性群組開啟較少連接埠。

  • 可以通過系統管理使用者中添加的使用者進行身份認證。

  • 叢集需要安裝OpenLDAP和Knox服務。

  • 需要在叢集安全性群組開啟8443連接埠。

    重要

    如果通過Knox服務代理實現內網訪問,不僅需要叢集安全性群組開啟8843連接埠,還須確保用戶端機器與叢集節點處於同一內網環境。

  • 支援的服務:

    • DataLake叢集:HDFS、YARN、Tez、Spark、HBase、Flink、Impala、Trino、Kudu。

    • Hadoop叢集:HDFS、YARN、Tez、Gangla、Spark、Oozie、HBase、Flink、Impala、Presto、Kudu。

方式二:通過內網IP地址訪問開源組件UI

不需要添加Knox服務。

  • 用戶端機器需要與叢集節點處於同一內網環境。

  • 需要根據訪問的服務連接埠逐一添加安全性群組規則。

方式一:通過Knox服務代理訪問開源組件UI

添加安全性群組規則

當您初次使用組件時,您需要按照以下步驟來開啟您的安全性群組存取權限:

  1. 擷取機器的公網訪問IP地址。

    為了安全的訪問叢集組件,在設定安全性群組策略時,推薦您只針對當前的公網訪問IP地址開放。您可以訪問IP地址,查看並擷取當前的公網訪問IP地址。

  2. 進入叢集基礎資訊頁面。

    1. 登入E-MapReduce控制台

    2. 在頂部功能表列處,根據實際情況選擇地區和資源群組

    3. 單擊目的地組群的叢集ID

  3. 增加安全性群組規則。

    1. 基礎資訊頁面,單擊叢集安全性群組的連結。

    2. 安全性群組規則頁面,根據需求開啟8443連接埠。

      重要

      為防止被外部的使用者攻擊導致安全問題,授權對象禁止填寫為0.0.0.0/0

      1. 安全性群組規則頁面,單擊手動添加

      2. 連接埠範圍填寫為8443/8443授權對象填寫為步驟1中擷取的公網訪問IP地址。

      3. 單擊儲存

      說明
      • 如果叢集的網路類型是VPC,則配置內網入方向。如果叢集的網路類型是傳統網路,則配置公網入方向。此處以VPC網路為例。

      • 開放應用出入規則時應遵循最小授權原則。根據應用需求,只開放對應的連接埠。

    3. 完成以上策略配置後,即可查看新增策略。

      配置成功後,您即已安全的開放了網路訪問路徑。

訪問開源組件的Web UI

  1. 進入訪問連結與連接埠頁簽。

    1. 登入E-MapReduce控制台

    2. 在頂部功能表列處,根據實際情況選擇地區和資源群組

    3. 單擊目的地組群的叢集ID

    4. 單擊上方的訪問連結與連接埠頁簽。

  2. 訪問連結與連接埠頁面,單擊服務所在行的Knox連結,即可正常的訪問Web UI頁面。

    重要

    如果叢集的Master節點未綁定公網,您只能使用Knox內網連結進行訪問。如果您需要使用公網訪問方式,請按照以下方式操作。

    1. 節點管理頁面,單擊master-1-1節點的ECS ID。

    2. 在ECS控制台,為master-1-1節點的ECS執行個體綁定彈性IP,詳情請參見綁定和解除綁定Elastic IP Address

    3. 同步主機資訊。

      1. 節點管理頁面,選擇右上方的全部操作 > 同步主機資訊

      2. 在彈出的對話方塊中,單擊確定

        訪問連結與連接埠頁面,即可訪問Knox公網地址。

  3. 使用使用者管理中的使用者身份資訊進行登入認證,即可進入相應的UI頁面。

    使用者帳號建立請參見系統管理使用者

  4. 部分特殊組件UI訪問方式。

    • 訪問Ranger UI

    • 當叢集開啟Ranger後,您可以使用預設的使用者名稱和密碼訪問RANGER UI,詳情請參見Ranger概述

      說明
      • 資料湖情境(DataLake叢集)

        • EMR-3.44.0及後續版本、EMR-5.10.0及後續版本

          預設使用者名為admin,密碼為Admin1234。如果忘記預設密碼,請參見常見問題

        • EMR-3.44.0之前版本、EMR-5.10.0之前版本

          預設使用者名為admin,密碼為admin1234。如果忘記預設密碼,請參見常見問題

      • 舊版資料湖情境(Hadoop叢集)

        預設的使用者名稱和密碼均為admin。如果忘記預設密碼,請參見常見問題

    • 訪問Flink UI(EMR-3.29.0之前版本)

      早期版本Flink組件僅支援通過SSH隧道方式訪問Web UI時,請參見通過SSH隧道方式訪問開源組件Web UI

      說明

      訪問YARN UI頁面上的Flink作業:您可以在EMR控制台的訪問連結與連接埠頁面,單擊YARN UI所在行的連結,在Hadoop控制台,單擊Flink作業的ID,即可查看Flink作業啟動並執行詳情。

方式二:通過內網IP地址訪問開源組件UI

添加安全性群組規則

  1. 擷取本地機器的內網IP地址。

    為了安全的訪問叢集組件,在設定安全性群組策略時,推薦您只針對本地機器的內網IP地址開放安全性群組連接埠。

  2. 進入叢集基礎資訊頁面。

    1. 登入E-MapReduce控制台

    2. 在頂部功能表列處,根據實際情況選擇地區和資源群組

    3. 在EMR on ECS的叢集管理頁面,單擊目的地組群的叢集ID

  3. 增加安全性群組規則。

    1. 基礎資訊頁面,單擊預設安全性群組的連結。

    2. 安全性群組規則頁面,根據需求開啟連接埠。

      重要

      為防止被外部的使用者攻擊導致安全問題,授權對象禁止填寫為0.0.0.0/0

      訪問不同組件Web UI需要開啟的連接埠不同,具體請查看組件原生UI地址IP後的連接埠。本文以添加HDFS連接埠為例,HDFS的原生內網地址為https://{主機內網IP}:8088,則需要在安全性群組內添加8088連接埠規則。

      1. 安全性群組規則頁面,單擊手動添加

      2. 連接埠範圍填寫為8088/8088授權對象填寫為步驟1中擷取的內網IP地址。

      3. 單擊儲存

      說明
      • 如果叢集的網路類型是VPC,則配置內網入方向。如果叢集的網路類型是傳統網路,則配置公網入方向。此處以VPC網路為例。

      • 開放應用出入規則時應遵循最小授權原則。根據應用需求,只開放對應的連接埠。

    3. 完成以上策略配置後,即可查看新增策略。

訪問開源組件UI的原生地址

  1. 進入訪問連結與連接埠頁簽。

    1. 登入E-MapReduce控制台

    2. 在頂部功能表列處,根據實際情況選擇地區和資源群組

    3. 單擊目的地組群的叢集ID

    4. 單擊上方的訪問連結與連接埠頁簽。

  2. 訪問連結與連接埠頁面,單擊服務所在行的原生UI連結,即可正常訪問Web UI頁面。

常見問題

為什麼單擊服務的連結地址沒有反應?

如果您使用KnoxProxy 位址,則需要在叢集的安全性群組中添加8443連接埠。如果使用服務原生地址,則需要提前在叢集的安全性群組中添加服務對應的Web連接埠。添加安全性群組規則詳情,請參見添加安全性群組規則

彈出的使用者名稱密碼如何填寫?

請使用在使用者管理功能中添加的使用者資訊進行認證。添加使用者詳情,請參見系統管理使用者

為什麼訪問連結與連接埠頁面顯示空白?

  • 如果該頁面沒有任何資訊,請確認是否是帳號欠費停機導致的。如果是這種情況,需要先繳費,然後等待一段時間才能恢複服務。

  • 如果只是KnoxProxy 位址列沒有資訊,請確認叢集是否安裝了OpenLDAP和Knox服務。

  • 如果是因為早期開源組件與Knox適配問題導致的WEB UI訪問異常,請重新購買新版本叢集。適配問題涉及以下版本的服務:

    • HBase:影響EMR 5.10.x至5.12.x版本,EMR 5.13.x及之後版本已修複。

    • Presto與Trino:影響EMR 5.10.x至5.14.x版本,EMR 5.15.x及之後版本已修複。

相關文檔