本文介紹通過Lindorm控制台管理計算引擎作業,包括建立、查看和終止Spark作業。
前提條件
已開通計算引擎。如何開通,請參見開通與變更配置。
已完成作業開發。如何開發,請參見JAR作業開發實踐或Python作業開發實踐。
已將作業上傳至HDFS或OSS。如何上傳至HDFS,請參見通過控制台上傳檔案。
建立作業
登入Lindorm管理主控台。
在頁面左上方,選擇執行個體所屬的地區。
在執行個體列表頁,單擊目標執行個體ID或者目標執行個體所在行操作列的管理。
在左側導覽列,單擊計算引擎。
單擊作業管理頁簽。
單擊建立作業。
在建立作業對話方塊,自訂作業名稱並選擇作業類型。
根據作業內容範本,配置以下作業參數,其他參數預設配置。
參數
說明
token
提交Spark作業時用於進行計算資源鑒權的token。您可以通過Lindorm控制台擷取,單擊目標執行個體ID,在左側導覽列選擇資料庫連接,切換至計算引擎頁面並查看token值。
mainResource
JAR包或者Python檔案在HDFS或OSS的儲存路徑。
mainClass
JAR作業的程式入口類。
args
傳入mainClass的參數。
configs
Spark系統參數配置。此外,如果您已將作業上傳至OSS,則需要在此增加以下配置:
spark.hadoop.fs.oss.endpoint:儲存作業的OSS地址。
spark.hadoop.fs.oss.accessKeyId:通過阿里雲控制台建立的Access Key ID,擷取方法請參見建立AccessKey。
spark.hadoop.fs.oss.accessKeySecret:通過阿里雲控制台擷取Access Key Secret,擷取方法請參見建立AccessKey。
spark.hadoop.fs.oss.impl:訪問OSS的類。固定值為:org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem。
單擊頁面右上方的儲存。
單擊頁面右上方的運行。
查看作業
登入Lindorm管理主控台。
在頁面左上方,選擇執行個體所屬的地區。
在執行個體列表頁,單擊目標執行個體ID或者目標執行個體所在行操作列的管理。
在左側導覽列,單擊計算引擎。
單擊作業列表頁簽,查看Spark作業的詳情資訊。
Spark作業
描述
JobId
Spark作業ID。
AppName
JAR作業名稱。
WebUI地址
SparkUI介面的訪問地址,可以將目標SparkUI地址複製在瀏覽器地址欄中,通過寬表引擎的使用者名稱和密碼登入SparkUI,查看目標Spark作業的詳細資料。SparkUI介面的介紹請參見查看作業運行資訊。
說明寬表引擎預設使用者名和密碼的擷取方式:在資料庫連接頁面,單擊寬表引擎頁簽,複製預設使用者名及密碼。
狀態
可以查看Spark作業的運行狀態。
詳情
可以查看Spark作業的運行狀態詳情資訊。
操作
對Spark作業進行終止操作。
終止作業
Spark作業的狀態為啟動中和運行才能執行終止操作。
終止操作對Lindorm執行個體無影響。
登入Lindorm管理主控台。
在頁面左上方,選擇執行個體所屬的地區。
在執行個體列表頁,單擊目標執行個體ID或者目標執行個體所在行操作列的管理。
在左側導覽列,單擊計算引擎。
單擊作業列表頁簽。
單擊目標Spark作業操作列中的終止作業。