Spark UI - Data Lake Analytics - Deprecated

本文介紹如何在作業運行中和結束後查看Apache Spark web UI。

操作步驟

登入Data Lake Analytics管理主控台。
頁面左上方，選擇DLA所在地區。
單擊左側導覽列中的Serverless Spark > 作業管理。
單擊目標Spark任務右側的操作 > SparkUI。
在瀏覽器中直接查看Spark UI，使用方式跟社區保持一致。

注意事項

1. 關於日誌路徑

為了作業結束後，也能訪問Spark web UI，運行歷史日誌資訊預設被上傳到oss://aliyun-oa-query-results-<user-parent-id>-oss-<region-id>/Spark_Tmp/的OSS路徑。如果您有自訂日誌路徑需求，可以通過下列配置項修改：

spark.dla.job.log.oss.uri":"oss://{bucket_name}/{dir_name}

說明

bucket_name: 所屬的 bucket 必須已經建立，並與 DLA Spark 同一 Region。
dir_name：目錄名稱，支援多級目錄。

樣本如下：

{
    "name": "SparkPi",
    "file": "local:///tmp/spark-examples.jar",
    "className": "org.apache.spark.examples.SparkPi",
    "conf": {
        "spark.dla.job.log.oss.uri": "oss://your-bucket/your-logs-dir"
    }
}

2. 關於Spark UI有效期間

由於Spark UI需要佔用服務平台的網路資源，當前可以開啟歷史Spark UI的有效期間只有三天。到期後Spark UI雖然不能開啟，但是OSS上的日誌資料是未被刪除的，您可以根據需求通過OSS用戶端查看日誌資料或刪除。