建立E-MapReduce叢集後,您可以在資料開發中建立專案,並在專案中進行作業的編輯和工作流程的調度。建立專案之後,您可以對專案進行管理,為專案關聯集群資源、添加專案成員以及設定全域變數。
前提條件
已建立叢集,詳情請參見建立叢集。
使用限制
只有阿里雲帳號才能建立專案、添加專案成員和添加叢集資源,即控制台上建立專案、使用者管理和叢集設定功能只對阿里雲帳號管理員可見,RAM使用者不可見。
建立專案
- 進入資料開發的專案列表頁面。
- 通過阿里雲帳號登入阿里雲E-MapReduce控制台。
- 在頂部功能表列處,根據實際情況選擇地區和資源群組。
- 單擊上方的資料開發頁簽。
阿里雲帳號可以查看該帳號下的所有專案列表,RAM使用者僅可以查看具有開發許可權的專案列表。如需為RAM使用者添加專案開發許可權,則需要阿里雲帳號來配置,詳情請參見使用者管理。
- 在專案列表頁面,單擊右上方的建立專案。
- 在建立專案對話方塊中,輸入專案名稱和專案描述,從資源群組選擇列表中,選擇已有的資源群組。
說明 如果不指定資源群組,專案會加入預設的資源群組,資源群組使用詳情請參見使用資源群組。
- 單擊建立。
在專案列表頁面,可查看或者操作新增的專案。
查看專案基本資料
- 進入資料開發的專案列表頁面。
- 通過阿里雲帳號登入阿里雲E-MapReduce控制台。
- 在頂部功能表列處,根據實際情況選擇地區和資源群組。
- 單擊上方的資料開發頁簽。
- 進入目標專案的專案管理頁面。
- 在專案列表頁面,單擊目標專案的專案ID。
- 單擊上方的專案管理頁簽。
- 查看專案基本資料。
在基本資料頁面,可以查看該專案的專案名稱、建立時間、Created User和專案描述資訊。
通用配置
通用配置中的安全模式適用於需要對E-MapReduce資料開發啟動並執行作業進行許可權管理的情境。
開啟安全模式後,需要在運行叢集的使用者管理中添加提交作業的EMR使用者,詳情請參見系統管理使用者。在開啟安全模式的專案中提交作業時,阿里雲帳號以預設hadoop使用者執行,RAM使用者則預設以當前RAM使用者同名的EMR使用者執行作業。
- 進入資料開發的專案列表頁面。
- 通過阿里雲帳號登入阿里雲E-MapReduce控制台。
- 在頂部功能表列處,根據實際情況選擇地區和資源群組。
- 單擊上方的資料開發頁簽。
- 進入目標專案的專案管理頁面。
- 在專案列表頁面,單擊目標專案的專案ID。
- 單擊上方的專案管理頁簽。
- 配置安全模式。
- 單擊左側菜單通用配置。
- 根據作業情況,選擇開啟或者關閉安全模式。
重要 開啟安全模式後,Shell和Hive類型的作業無法運行。
使用者管理
您可以通過以下步驟為RAM使用者添加或刪除某個專案的開發許可權。
- 進入資料開發的專案列表頁面。
- 通過阿里雲帳號登入阿里雲E-MapReduce控制台。
- 在頂部功能表列處,根據實際情況選擇地區和資源群組。
- 單擊上方的資料開發頁簽。
- 進入目標專案的專案管理頁面。
- 在專案列表頁面,單擊目標專案的專案ID。
- 單擊上方的專案管理頁簽。
- 在左側導覽列中,單擊使用者管理。
- 在使用者管理頁面,根據業務訴求添加使用者或者刪除使用者。
- 添加使用者。
- 單擊右上方的添加使用者。
- 在添加使用者對話方塊中,選擇需要添加的RAM使用者,然後單擊添加。
使用者添加成功後,就可以在使用者管理頁面查看新增的使用者資訊。說明 被添加的RAM使用者將成為該專案的成員,擁有查看、開發該專案下的作業和工作流程的許可權。
- 刪除使用者。
在使用者管理頁面,單擊待刪除使用者所在行的刪除。
- 添加使用者。
叢集設定
通過以下步驟,可以為專案設定叢集資源,使該專案中的作業運行在關聯的叢集上。
- 進入資料開發的專案列表頁面。
- 通過阿里雲帳號登入阿里雲E-MapReduce控制台。
- 在頂部功能表列處,根據實際情況選擇地區和資源群組。
- 單擊上方的資料開發頁簽。
- 進入目標專案的專案管理頁面。
- 在專案列表頁面,單擊目標專案的專案ID。
- 單擊上方的專案管理頁簽。
- 在左側導覽列中,單擊叢集設定。
- 在叢集設定頁面,可以進行如下操作:
- 添加叢集。
- 單擊右上方的添加叢集
- 在添加叢集對話方塊中,選擇資源群組和叢集資訊。
從選擇叢集下拉式清單中選擇已購買的訂用帳戶或隨用隨付的叢集(不包括通過叢集模板建立的叢集)。
- 單擊確定。
在叢集設定頁面,可以查看新增的叢集資訊。
- 修改叢集配置。
- 單擊目的地組群所在行的修改配置。
- 在修改配置對話方塊中,設定提交作業到該叢集的隊列、使用者資訊和用戶端白名單。
配置項 描述 提交作業預設使用者 設定專案使用所選叢集提交作業時的預設使用者,預設值是hadoop,預設使用者只能有一個。 提交作業預設隊列 設定專案使用所選叢集提交作業時的預設隊列,預設作業提交到default隊列。 提交作業使用者白名單 設定可以提交作業的使用者,如果有多個使用者,可以通過英文半形逗號(,)分隔。 提交作業隊列白名單 設定專案中的作業可以運行在所選叢集的隊列,如果有多個隊列,可以通過英文半形逗號(,)分隔。 用戶端白名單 配置可以提交作業的用戶端,您可以使用Master節點或Gateway節點。通過ECS自建的Gateway暫不支援在此處配置。 - 單擊確定。
- 取消關聯的叢集資源。
在叢集設定頁面,單擊目的地組群所在行的刪除,取消關聯的叢集資源。
- 添加叢集。
變數定義
您可以通過以下步驟設定專案層級的自訂變數,這些變數可以被本專案中的作業專案作為全域變數調用。
- 進入資料開發的專案列表頁面。
- 通過阿里雲帳號登入阿里雲E-MapReduce控制台。
- 在頂部功能表列處,根據實際情況選擇地區和資源群組。
- 單擊上方的資料開發頁簽。
- 進入目標專案的專案管理頁面。
- 在專案列表頁面,單擊目標專案的專案ID。
- 單擊上方的專案管理頁簽。
- 在左側導覽列中,單擊變數定義。
- 在變數定義頁面,可以根據業務訴求添加自訂變數或者刪除自訂變數。
- 添加自訂變數。
- 單擊右上方的添加。
- 在添加自訂變數對話方塊中,添加變數名稱和變數值,根據需要選擇是否為變數名的變數值加密。
作業中以
${VariableName}
的形式調用變數。例如,您添加變數名為ENV_ABC,變數值為12345,不開啟是否為密碼。Shell類型作業內容樣本如下。echo ${ENV_ABC}
返回結果如下。12345
這裡環境變數的設定相當於執行了如下的指令碼。export ENV_ABC=12345
- 單擊確認。
在變數定義頁面,可查看新增的變數資訊。
- 刪除自訂變數。
單擊目標變數所在行的刪除,就可以刪除對應的變數。
- 添加自訂變數。