E-MapReduce：作業編輯

背景資訊

前提條件

已建立專案或已被加入到專案中，詳情請參見專案管理。

新增作業

1. 進入資料開發的專案列表頁面。
   1. 通過阿里雲帳號登入阿里雲E-MapReduce控制台。
   2. 在頂部功能表列處，根據實際情況選擇地區和資源群組。
      
   3. 單擊上方的資料開發頁簽。
2. 單擊待編輯專案所在行的作業編輯。
3. 新增作業。
   1. 在頁面左側，在需要操作的檔案夾上單擊右鍵，選擇新增作業。
      說明 您還可以通過在檔案夾上單擊右鍵，進行建立子檔案夾、重新命名檔案夾和刪除檔案夾操作。
   2. 在新增作業對話方塊中，輸入作業名稱和作業描述，從作業類型列表中，選擇建立的作業類型。

      目前E-MapReduce資料開發支援的作業類型有：Shell、Hive、Hive SQL、Spark、SparkSQL、Spark Shell、Spark Streaming、MR、Sqoop、Pig 、Flink、Streaming SQL、Presto SQL和Impala SQL。

      說明 建立作業時作業類型一經確定，不能修改。
   3. 單擊確定。
      作業建立成功後，就可以做相應的作業設定、作業編輯等操作了。

設定作業

各類作業類型的開發與設定，請參見作業部分。以下內容介紹的是作業的基礎設定、進階設定、共用庫和警示設定。

1. 在作業編輯頁面，單擊右上方的作業設定。
2. 在作業設定面板，設定基礎資訊。

   配置項		說明
   作業概要	作業名稱	您建立作業的名稱。
   	作業類型	您建立作業的類型。
   	失敗重試次數	作業運行失敗後的重試次數，可以選擇的重試次數範圍為：0~5次。
   	失敗策略	作業運行失敗後支援的策略如下： 暫停當前工作流程：作業運行失敗後，不再繼續執行當前工作流程。 繼續執行下一個作業：作業運行失敗後，繼續執行下一個作業。 根據業務情況，可以開啟或者關閉使用最新作業內容和參數開關。 關閉：作業失敗後重新執行時，使用初始作業內容和參數產生工作執行個體。 開啟：作業失敗後重新執行時，使用最新的作業內容和參數產生工作執行個體。
   	作業描述	單擊右側的編輯，可以修改作業的描述。
   運行資源		單擊右側的表徵圖，添加作業執行所依賴的JAR包或UDF等資源。 您需要將資源先上傳至OSS，然後在運行資源中直接添加即可。
   配置參數		指定作業代碼中所引用的變數的值。您可以在代碼中引用變數，格式為${變數名}。 單擊右側的表徵圖，添加Key和Value，根據需要選擇是否為Value進行加密。其中，Key為變數名，Value為變數的值。另外，您還可以根據調度啟動時間在此配置時間變數，詳情請參見作業日期設定。

3. 在作業設定面板，單擊進階設定頁簽。

   配置項	說明
   模式	提交節點包括以下兩種模式，詳情請參見作業提交模式說明。 在Worker節點提交：作業通過Launcher在YARN上分配資源進行提交。 在Header/Gateway節點提交：作業在分配的機器上直接運行。 預期最大運行時間長度：0~10800秒。
   環境變數	添加作業執行的環境變數，也可以在作業指令碼中直接export環境變數。 樣本一：一個Shell類型的任務，內容是echo ${ENV_ABC}。如果此處設定了一個環境變數 ENV_ABC=12345，則echo命令的輸出結果為12345。 樣本二：一個Shell類型的作業，內容是java -jar abc.jar，其中abc.jar的內容如下： public static void main(String[] args) {System.out.println(System.getEnv("ENV_ABC"));} 返回的結果是12345。此處環境變數的設定相當於執行了以下指令碼。 export ENV_ABC=12345 java -jar abc.jar
   調度參數	設定作業運行YARN隊列、記憶體、虛擬核心數、優先順序和執行使用者等資訊。當未設定這些參數時，作業會直接採用Hadoop叢集的預設值。 說明 記憶體設定用於設定啟動器Launcher的記憶體配額。

4. 在作業設定面板，單擊共用庫頁簽。
   在依賴庫地區，填寫庫列表。

   執行作業需要依賴一些資料來源相關的庫檔案。E-MapReduce將這些庫以依賴庫的形式發布在調度服務的倉庫中，在建立作業時需要指定使用哪個版本的依賴庫。您只需設定相應的依賴庫版本，例如sharedlibs:streamingsql:datasources-bundle:2.0.0。

5. 在作業設定面板，單擊警示設定頁簽。

   配置項	說明
   執行失敗	設定作業執行失敗時，是否通知到使用者警示組或DingTalk警示組。
   啟動逾時	設定作業啟動逾時時，是否通知到使用者警示組或DingTalk警示組。
   作業執行逾時	設定作業執行逾時時，是否通知到使用者警示組或DingTalk警示組。

在作業中添加註解

!!! @<註解名稱>: <註解內容>

!!! @rem: 這是一行注釋

!!! @env: ENV_1=ABC

!!! @var: var1="value1 and \"one string end with 3 spaces\" "
!!! @var: var2=${yyyy-MM-dd}

!!! @resource: oss://bucket1/dir1/file.jar

!!! @sharedlibs: sharedlibs:streamingsql:datasources-bundle:1.7.0,...

!!! @scheduler.queue: default

!!! @scheduler.vmem: 1024

!!! @scheduler.vcores: 1

!!! @scheduler.priority: 1

!!! @scheduler.user: root

運行作業

1. 執行作業。
   1. 在建立的作業頁面，單擊右上方的運行來執行作業。
   2. 在運行作業對話方塊中，選擇資源群組和執行叢集。
   3. 單擊確定。
2. 查看作業作業記錄。
   1. 作業運行後，您可以在日誌頁簽中查看作業啟動並執行日誌。
      
   2. 單擊運行記錄頁簽，可以查看工作執行個體的運行情況。
   3. 單擊目標運行記錄右側的詳情，跳轉到營運中心，可以查看工作執行個體的詳細資料。

作業可執行操作

作業提交模式說明

Spark-Submit進程（在資料開發模組中為啟動器Launcher）是Spark的作業提交命令，用於提交Spark作業，一般佔用600 MB以上記憶體。作業設定面板中的記憶體設定，用於設定Launcher的記憶體配額。

工作執行個體消耗記憶體 = Launcher消耗記憶體 + 使用者作業（Job）消耗記憶體

Job消耗記憶體 = Spark-Submit（指邏輯模組，非進程）消耗記憶體 + Driver端消耗記憶體 + Executor端消耗記憶體