本文介绍如何在作业运行中和结束后查看Apache Spark web UI。
操作步骤
页面左上角,选择DLA所在地域。
单击左侧导航栏中的Serverless Spark > 作业管理。
单击目标Spark任务右侧的操作 > SparkUI。
在浏览器中直接查看Spark UI,使用方式跟社区保持一致。
注意事项
1. 关于日志路径
为了作业结束后,也能访问Spark web UI,运行历史日志信息默认被上传到oss://aliyun-oa-query-results-<user-parent-id>-oss-<region-id>/Spark_Tmp/的OSS路径。如果您有自定义日志路径需求,可以通过下列配置项修改:
spark.dla.job.log.oss.uri":"oss://{bucket_name}/{dir_name}
说明
bucket_name
: 所属的 bucket 必须已经创建,并与 DLA Spark 同一 Region。dir_name
:目录名称,支持多级目录。
示例如下:
{
"name": "SparkPi",
"file": "local:///tmp/spark-examples.jar",
"className": "org.apache.spark.examples.SparkPi",
"conf": {
"spark.dla.job.log.oss.uri": "oss://your-bucket/your-logs-dir"
}
}
2. 关于Spark UI有效期
由于Spark UI需要占用服务平台的网络资源,当前可以打开历史Spark UI的有效期只有三天。过期后Spark UI虽然不能打开,但是OSS上的日志数据是未被删除的,您可以根据需求通过OSS客户端查看日志数据或删除。