全部產品
Search
文件中心

E-MapReduce:專案管理

更新時間:Jul 01, 2024

建立E-MapReduce叢集後,您可以在資料開發中建立專案,並在專案中進行作業的編輯和工作流程的調度。建立專案之後,您可以對專案進行管理,為專案關聯集群資源、添加專案成員以及設定全域變數。

前提條件

已建立叢集,詳情請參見建立叢集

使用限制

只有阿里雲帳號才能建立專案、添加專案成員和添加叢集資源,即控制台上建立專案使用者管理叢集設定功能只對阿里雲帳號管理員可見,RAM使用者不可見。

建立專案

  1. 進入資料開發的專案列表頁面。
    1. 通過阿里雲帳號登入阿里雲E-MapReduce控制台
    2. 在頂部功能表列處,根據實際情況選擇地區和資源群組
    3. 單擊上方的資料開發頁簽。
      阿里雲帳號可以查看該帳號下的所有專案列表,RAM使用者僅可以查看具有開發許可權的專案列表。如需為RAM使用者添加專案開發許可權,則需要阿里雲帳號來配置,詳情請參見使用者管理
  2. 專案列表頁面,單擊右上方的建立專案
  3. 建立專案對話方塊中,輸入專案名稱專案描述,從資源群組選擇列表中,選擇已有的資源群組
    說明 如果不指定資源群組,專案會加入預設的資源群組,資源群組使用詳情請參見使用資源群組
  4. 單擊建立
    專案列表頁面,可查看或者操作新增的專案。

查看專案基本資料

  1. 進入資料開發的專案列表頁面。
    1. 通過阿里雲帳號登入阿里雲E-MapReduce控制台
    2. 在頂部功能表列處,根據實際情況選擇地區和資源群組
    3. 單擊上方的資料開發頁簽。
  2. 進入目標專案的專案管理頁面。
    1. 專案列表頁面,單擊目標專案的專案ID。
    2. 單擊上方的專案管理頁簽。
  3. 查看專案基本資料。
    基本資料頁面,可以查看該專案的專案名稱、建立時間、Created User和專案描述資訊。

通用配置

通用配置中的安全模式適用於需要對E-MapReduce資料開發啟動並執行作業進行許可權管理的情境。

開啟安全模式後,需要在運行叢集的使用者管理中添加提交作業的EMR使用者,詳情請參見系統管理使用者。在開啟安全模式的專案中提交作業時,阿里雲帳號以預設hadoop使用者執行,RAM使用者則預設以當前RAM使用者同名的EMR使用者執行作業。

  1. 進入資料開發的專案列表頁面。
    1. 通過阿里雲帳號登入阿里雲E-MapReduce控制台
    2. 在頂部功能表列處,根據實際情況選擇地區和資源群組
    3. 單擊上方的資料開發頁簽。
  2. 進入目標專案的專案管理頁面。
    1. 專案列表頁面,單擊目標專案的專案ID。
    2. 單擊上方的專案管理頁簽。
  3. 配置安全模式。
    1. 單擊左側菜單通用配置
    2. 根據作業情況,選擇開啟或者關閉安全模式。
      重要 開啟安全模式後,Shell和Hive類型的作業無法運行。

使用者管理

您可以通過以下步驟為RAM使用者添加或刪除某個專案的開發許可權。

  1. 進入資料開發的專案列表頁面。
    1. 通過阿里雲帳號登入阿里雲E-MapReduce控制台
    2. 在頂部功能表列處,根據實際情況選擇地區和資源群組
    3. 單擊上方的資料開發頁簽。
  2. 進入目標專案的專案管理頁面。
    1. 專案列表頁面,單擊目標專案的專案ID。
    2. 單擊上方的專案管理頁簽。
  3. 在左側導覽列中,單擊使用者管理
  4. 使用者管理頁面,根據業務訴求添加使用者或者刪除使用者。
    • 添加使用者。
      1. 單擊右上方的添加使用者
      2. 添加使用者對話方塊中,選擇需要添加的RAM使用者,然後單擊添加
        使用者添加成功後,就可以在使用者管理頁面查看新增的使用者資訊。
        說明 被添加的RAM使用者將成為該專案的成員,擁有查看、開發該專案下的作業和工作流程的許可權。
    • 刪除使用者。

      使用者管理頁面,單擊待刪除使用者所在行的刪除

叢集設定

通過以下步驟,可以為專案設定叢集資源,使該專案中的作業運行在關聯的叢集上。

  1. 進入資料開發的專案列表頁面。
    1. 通過阿里雲帳號登入阿里雲E-MapReduce控制台
    2. 在頂部功能表列處,根據實際情況選擇地區和資源群組
    3. 單擊上方的資料開發頁簽。
  2. 進入目標專案的專案管理頁面。
    1. 專案列表頁面,單擊目標專案的專案ID。
    2. 單擊上方的專案管理頁簽。
  3. 在左側導覽列中,單擊叢集設定
  4. 叢集設定頁面,可以進行如下操作:
    • 添加叢集。
      1. 單擊右上方的添加叢集
      2. 添加叢集對話方塊中,選擇資源群組和叢集資訊。

        選擇叢集下拉式清單中選擇已購買的訂用帳戶或隨用隨付的叢集(不包括通過叢集模板建立的叢集)。

      3. 單擊確定

        叢集設定頁面,可以查看新增的叢集資訊。

    • 修改叢集配置。
      1. 單擊目的地組群所在行的修改配置
      2. 修改配置對話方塊中,設定提交作業到該叢集的隊列、使用者資訊和用戶端白名單。
        配置項 描述
        提交作業預設使用者 設定專案使用所選叢集提交作業時的預設使用者,預設值是hadoop,預設使用者只能有一個。
        提交作業預設隊列 設定專案使用所選叢集提交作業時的預設隊列,預設作業提交到default隊列。
        提交作業使用者白名單 設定可以提交作業的使用者,如果有多個使用者,可以通過英文半形逗號(,)分隔。
        提交作業隊列白名單 設定專案中的作業可以運行在所選叢集的隊列,如果有多個隊列,可以通過英文半形逗號(,)分隔。
        用戶端白名單 配置可以提交作業的用戶端,您可以使用Master節點或Gateway節點。通過ECS自建的Gateway暫不支援在此處配置。
      3. 單擊確定
    • 取消關聯的叢集資源。

      叢集設定頁面,單擊目的地組群所在行的刪除,取消關聯的叢集資源。

變數定義

您可以通過以下步驟設定專案層級的自訂變數,這些變數可以被本專案中的作業專案作為全域變數調用。

  1. 進入資料開發的專案列表頁面。
    1. 通過阿里雲帳號登入阿里雲E-MapReduce控制台
    2. 在頂部功能表列處,根據實際情況選擇地區和資源群組
    3. 單擊上方的資料開發頁簽。
  2. 進入目標專案的專案管理頁面。
    1. 專案列表頁面,單擊目標專案的專案ID。
    2. 單擊上方的專案管理頁簽。
  3. 在左側導覽列中,單擊變數定義
  4. 變數定義頁面,可以根據業務訴求添加自訂變數或者刪除自訂變數。
    • 添加自訂變數。
      1. 單擊右上方的添加
      2. 添加自訂變數對話方塊中,添加變數名稱變數值,根據需要選擇是否為變數名的變數值加密。
        作業中以${VariableName}的形式調用變數。例如,您添加變數名為ENV_ABC,變數值為12345,不開啟是否為密碼。Shell類型作業內容樣本如下。
        echo ${ENV_ABC}
        返回結果如下。
        12345
        這裡環境變數的設定相當於執行了如下的指令碼。
        export ENV_ABC=12345
      3. 單擊確認

        變數定義頁面,可查看新增的變數資訊。

    • 刪除自訂變數。

      單擊目標變數所在行的刪除,就可以刪除對應的變數。