本文介绍通过云原生多模数据库 Lindorm控制台管理计算引擎作业,包括创建、查看和终止Spark作业。
前提条件
已开通计算引擎。如何开通,请参见开通与变配。
已完成作业开发。如何开发,请参见JAR作业开发实践或Python作业开发实践。
已将作业上传至HDFS或OSS。如何上传至HDFS,请参见通过控制台上传文件。
创建作业
登录Lindorm管理控制台。
在页面左上角,选择实例所属的地域。
在实例列表页,单击目标实例ID或者目标实例所在行操作列的管理。
在左侧导航栏,单击计算引擎。
单击作业管理页签。
单击创建作业。
在创建作业对话框,自定义作业名称并选择作业类型。
根据作业内容模板,配置以下作业参数,其他参数默认配置。
参数
说明
token
提交Spark作业时用于进行计算资源鉴权的token。您可以通过云原生多模数据库 Lindorm控制台获取,单击目标实例ID,在左侧导航栏选择数据库连接,切换至计算引擎页面并查看token值。
mainResource
JAR包或者Python文件在HDFS或OSS的存储路径。
mainClass
JAR作业的程序入口类。
args
传入mainClass的参数。
configs
Spark系统参数配置。此外,如果您已将作业上传至OSS,则需要在此增加以下配置:
spark.hadoop.fs.oss.endpoint:存储作业的OSS地址。
spark.hadoop.fs.oss.accessKeyId:通过阿里云控制台创建的Access Key ID,获取方法请参见创建AccessKey。
spark.hadoop.fs.oss.accessKeySecret:通过阿里云控制台获取Access Key Secret,获取方法请参见创建AccessKey。
spark.hadoop.fs.oss.impl:访问OSS的类。固定值为:org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem。
单击页面右上角的保存。
单击页面右上角的运行。
查看作业
登录Lindorm管理控制台。
在页面左上角,选择实例所属的地域。
在实例列表页,单击目标实例ID或者目标实例所在行操作列的管理。
在左侧导航栏,单击计算引擎。
单击作业列表页签,查看Spark作业的详情信息。
Spark作业
描述
JobId
Spark作业ID。
AppName
JAR作业名称。
WebUI地址
SparkUI界面的访问地址,可以将目标SparkUI地址复制在浏览器地址栏中,通过宽表引擎的用户名和密码登录SparkUI,查看目标Spark作业的详细信息。SparkUI界面的介绍请参见查看作业运行信息。
说明宽表引擎默认用户名和密码的获取方式:在数据库连接页面,单击宽表引擎页签,复制默认用户名及密码。
状态
可以查看Spark作业的运行状态。
详情
可以查看Spark作业的运行状态详情信息。
操作
对Spark作业进行终止操作。
终止作业
Spark作业的状态为启动中和运行才能执行终止操作。
终止操作对Lindorm实例无影响。
登录Lindorm管理控制台。
在页面左上角,选择实例所属的地域。
在实例列表页,单击目标实例ID或者目标实例所在行操作列的管理。
在左侧导航栏,单击计算引擎。
单击作业列表页签。
单击目标Spark作业操作列中的终止作业。