全部產品
Search
文件中心

:通過控制台管理作業

更新時間:Jul 06, 2024

本文介紹通過Lindorm控制台管理計算引擎作業,包括建立、查看和終止Spark作業。

前提條件

建立作業

  1. 登入Lindorm管理主控台

  2. 在頁面左上方,選擇執行個體所屬的地區。

  3. 執行個體列表頁,單擊目標執行個體ID或者目標執行個體所在行操作列的管理

  4. 在左側導覽列,單擊計算引擎

  5. 單擊作業管理頁簽。

  6. 單擊建立作業

  7. 建立作業對話方塊,自訂作業名稱並選擇作業類型。

  8. 根據作業內容範本,配置以下作業參數,其他參數預設配置。

    參數

    說明

    token

    提交Spark作業時用於進行計算資源鑒權的token。您可以通過Lindorm控制台擷取,單擊目標執行個體ID,在左側導覽列選擇資料庫連接,切換至計算引擎頁面並查看token值。

    mainResource

    JAR包或者Python檔案在HDFS或OSS的儲存路徑。

    mainClass

    JAR作業的程式入口類。

    args

    傳入mainClass的參數。

    configs

    Spark系統參數配置。此外,如果您已將作業上傳至OSS,則需要在此增加以下配置:

    • spark.hadoop.fs.oss.endpoint:儲存作業的OSS地址。

    • spark.hadoop.fs.oss.accessKeyId:通過阿里雲控制台建立的Access Key ID,擷取方法請參見建立AccessKey

    • spark.hadoop.fs.oss.accessKeySecret:通過阿里雲控制台擷取Access Key Secret,擷取方法請參見建立AccessKey

    • spark.hadoop.fs.oss.impl:訪問OSS的類。固定值為:org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem。

  9. 單擊頁面右上方的儲存

  10. 單擊頁面右上方的運行

查看作業

  1. 登入Lindorm管理主控台

  2. 在頁面左上方,選擇執行個體所屬的地區。

  3. 執行個體列表頁,單擊目標執行個體ID或者目標執行個體所在行操作列的管理

  4. 在左側導覽列,單擊計算引擎

  5. 單擊作業列表頁簽,查看Spark作業的詳情資訊。

    Spark作業

    描述

    JobId

    Spark作業ID。

    AppName

    JAR作業名稱。

    WebUI地址

    SparkUI介面的訪問地址,可以將目標SparkUI地址複製在瀏覽器地址欄中,通過寬表引擎的使用者名稱和密碼登入SparkUI,查看目標Spark作業的詳細資料。SparkUI介面的介紹請參見查看作業運行資訊

    說明

    寬表引擎預設使用者名和密碼的擷取方式:在資料庫連接頁面,單擊寬表引擎頁簽,複製預設使用者名及密碼。

    狀態

    可以查看Spark作業的運行狀態。

    詳情

    可以查看Spark作業的運行狀態詳情資訊。

    操作

    對Spark作業進行終止操作。

終止作業

說明
  • Spark作業的狀態為啟動中運行才能執行終止操作。

  • 終止操作對Lindorm執行個體無影響。

  1. 登入Lindorm管理主控台

  2. 在頁面左上方,選擇執行個體所屬的地區。

  3. 執行個體列表頁,單擊目標執行個體ID或者目標執行個體所在行操作列的管理

  4. 在左側導覽列,單擊計算引擎

  5. 單擊作業列表頁簽。

  6. 單擊目標Spark作業操作列中的終止作業