如何配置ServerlessSpark任务格式 - 云原生数据湖分析 DLA - 文档停止维护

Serverless Spark作业的描述格式为JSON格式，包含作业名称，JAR包路径以及作业配置参数等信息。本文主要介绍如何配置Serverless Spark任务格式。

重要

云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版湖仓版支持DLA已有功能，并提供更多的功能和更好的性能。AnalyticDB for MySQL相关使用文档，请参见Spark应用配置参数说明。

Spark任务示例

本文以读取OSS数据为例，介绍Spark任务的编写方式，命令行参数格式为JSON格式。示例如下：

 {  
  "args": ["oss://${oss-buck-name}/data/test/test.csv"],
  "name": "spark-oss-test",
  "file": "oss://${oss-buck-name}/jars/test/spark-examples-0.0.1-SNAPSHOT.jar",
  "className": "com.aliyun.spark.oss.SparkReadOss",
  "conf": {
    "spark.driver.resourceSpec": "medium",
    "spark.executor.resourceSpec": "medium",
    "spark.executor.instances": 2,
    "spark.dla.connectors": "oss"
  }
}

上述示例描述了一个典型的离线Spark JAR任务的格式，包括任务的名字、主JAR、入口类、入口类参数以及Spark作业配置。如果开发者熟悉Spark社区用法的话，可以发现这些配置跟社区Spark-Submit工具的命令行参数类似。实际上，Serverless Spark参考了社区的用法，并跟社区的用法保持一致，包括参数名以及参数的语义。

作业参数说明

本章节对Serverless Spark作业参数进行说明。

参数名称	是否必填	示例值	使用说明
args	否	`"args":["args0", "args1"]`	Spark任务传入的参数，多个参数之间以英文逗号（,）分隔。
name	否	`"name": "your_job_name"`	Spark任务名称。
file	Python/Java/Scala应用必填	`"file":"oss://bucket/path/to/your/jar"`	Spark任务主文件的存储位置，可以是入口类所在的JAR包或者Python的入口执行文件。说明 Spark任务主文件目前只支持存储在OSS中。
className	Java/Scala应用必填	`"className":"com.aliyun.spark.oss.SparkReadOss"`	Java或者Scala程序入口类。如果是Python则不需要指定。
sqls	SQL应用必填	`"sqls":["select * from xxxx","show databases"]`	本关键字是区别于社区Spark的DLA平台自研功能，允许用户不提交JAR包和Python文件，直接提交SQL离线作业。该关键字跟file, className, args关键字不能同时使用。用户可以在一个作业中指定多条SQL语句，中间以英文逗号（,）隔开。多条SQL语句按照指定的顺序依次执行。
jars	否	`jars:["oss://bucket/path/to/jar","oss://bucket/path/to/jar"]`	Spark任务依赖的JAR包，多个JAR包之间以英文逗号（,）分隔。JAR包在作业运行时会被加入到Driver和Executor JVM的ClassPath里面。说明 Spark任务所依赖的所有JAR包须存储在OSS中。
files	否	`"files":["oss://bucket/path/to/files","oss://bucket/path/to/files"]`	Spark任务依赖的文件资源，文件会被下载到Driver和Executor进程的当前执行目录下。文件可以指定别名，比如`oss://bucket/xx/yy.txt#yy`，用户在代码中只需要使用./yy就可以访问文件，否则使用./yy.txt。多个文件中间用英文逗号（,）分隔。说明 files中包含名为`oss://<path/to>/log4j.properties`的文件时（文件名固定为log4j.properties），Spark会使用该`log4j.properties`作为日志配置。 Spark任务所依赖的所有文件须存储在OSS中。
archives	否	`"archives":["oss://bucket/path/to/archives","oss://bucket/path/to/archives"]`	Spark任务依赖的文件包资源，目前支持ZIP、TAR、TAR.GZ后缀。文件包会被解压到当前Spark进程的当前目录下。文件包可以指定别名，比如oss://bucket/xx/yy.zip#yy，用户在代码中只需要使用./yy/zz.txt就可以访问解压后的文件，否则使用./yy.zip/zz.txt访问文件（假设zz.txt是yy.zip压缩包中的文件）。多个文件包中间使用英文逗号（,）分隔。说明 Spark任务所依赖的所有文件包须存储在OSS中。文件包解压缩失败，任务会失败。
pyFiles	Python应用可选	`"pyFiles":["oss://bucket/path/to/pyfiles","oss://bucket/path/to/pyfiles"]`	PySpark依赖的Python文件，后缀可以是ZIP、PY和EGG。如果依赖多个Python文件，建议用户使用ZIP或者EGG文件包。这些文件可以直接在Python代码中以module的方式引用。多个文件包中间使用英文逗号（,）分隔。说明 Spark任务所依赖的所有Python文件须存储在OSS中。
conf	否	`"conf":{"spark.xxxx":"xxx","spark.xxxx":"xxxx"}`	与开源Spark中的配置项相同，参数格式为`key: value`形式，多个参数之间以英文逗号（,）分隔。若不填写conf，系统使用创建虚拟集群时设置的默认值。

DLA Spark 配置项

DLA Spark配置项跟社区Spark中的配置项基本保持一致，本章节将对其中不一致的地方以及DLA Serverless Spark平台提供的参数进行说明。

与社区Spark不一致的地方

指定Driver和Executor资源大小。

参数名称

使用说明

对应社区Spark参数

spark.driver.resourceSpec

表示spark driver的资源规格。取值：

small：表示1c4g
medium：表示2c8g
large：表示4c16g
xlarge：表示8c32g

spark.driver.cores以及spark.driver.memory

spark.executor.resourceSpec

表示spark executor的资源规格，同spark.driver.resourceSpec。

spark.executor.cores以及spark.executor.memory

DLA Spark相关参数

Spark UI相关参数：

参数名称	默认值	参数说明
spark.dla.job.log.oss.uri	无	用于存储DLA Spark作业产生的作业日志以及SparkUI EventLog的目录，目前只支持用户的OSS路径。如果不填无法看到作业日志，作业结束后无法打开SparkUI。

RAM账号运维Spark相关参数：

参数名称	默认值	参数说明
spark.dla.roleArn	无	在RAM系统中授予提交作业的子账号的roleArn，子账号提交作业需要填写该参数，主账号提交作业无需提交该参数。

DLA Spark内置数据源连接器。

参数名称	默认值	参数说明
spark.dla.connectors	无	启用DLA Spark内置的连接器，连接器名称以逗号隔开，目前可选的连接器有 oss、hbase1.x、tablestore。
spark.hadoop.job.oss.fileoutputcommitter.enable	false	开启parquet格式写入优化。请参考OSS 。重要需要两个参数同时使用。不支持与其它数据格式混用。必须设置 "spark.dla.connectors": "oss" 。。
spark.sql.parquet.output.committer.class	com.aliyun.hadoop.mapreduce.lib.output.OSSFileOutputCommitter
spark.hadoop.io.compression.codec.snappy.native	false	标识Snappy文件是否为标准Snappy文件。Hadoop默认识别的是Hadoop修改过的Snappy格式文件。设置为true时将使用标准snappy库解压，否则使用hadoop默认的snappy库解压。

访问用户VPC和连接用户数据源相关参数：

参数名称	默认值	参数说明
spark.dla.eni.enable	false	这个参数为true表示启用打通VPC功能。
spark.dla.eni.vswitch.id	无	开启打通VPC功能，用于弹性网卡的交换机ID。一般地，如果用户有ECS可以访问目标数据源，那么可以直接使用该ECS的交换机ID。
spark.dla.eni.security.group.id	无	开启打通VPC功能，用于弹性网卡的安全组ID。一般地，如果用户有ECS可以访问目标数据源，那么可以直接使用该ECS的安全组ID。
spark.dla.eni.extra.hosts	无	需要额外传入的IP和Host的映射关系，以便Spark能正确解析用户数据源中的域名信息。如连接用户的Hive数据源，就需要传入此参数。重要 IP和域名之间用空格隔开。多个IP和域名用逗号隔开，如"ip0 master0, ip1 master1"。

Spark SQL链接DLA元数据相关参数：

参数名称	默认值	参数说明
spark.sql.hive.metastore.version	1.2.1	用于指定Hive MetaStore的版本，DLA Spark扩充了社区版该参数的可取值，当设置为dla时，用户即可使用Spark SQL访问DLA元数据。

PySpark相关参数：
参数名称
默认值
参数说明
spark.kubernetes.pyspark.pythonVersion
2
DLA Spark使用的Python版本，可取值为2和3。2代表使用Python2，3代表使用Python3。

作业重试相关参数：

参数名称	默认值	参数说明	示例
spark.dla.job.maxAttempts	1	作业最大尝试次数，默认为1，代表作业不支持重试。说明取值范围为[1, 9999]。如果作业成功则不再继续尝试，如果作业失败，且该值大于1，会自动进行下一次尝试。	假设spark.dla.job.maxAttempts=3，则这个作业最多尝试3次。
spark.dla.job.attemptFailuresValidityInterval	-1	作业尝试追踪的有效时间间隔，默认值为-1，代表未启用作业尝试追踪。重要如果作业尝试结束时间距离当前时间已经超过了指定的时间间隔，则该次尝试不会被计入失败的次数。值如果设置的过小，很容易导致错误的作业被无限重试，因此默认情况下不建议设置该值。值可以带单位，支持的单位有： ms：毫秒，默认单位。 m：分钟。 h：小时。 d：天。	假设spark.dla.job.attemptFailuresValidityInterval=30m，当前时间是12：40，已存在JobAttempt0的结束时间为12：00，JobAttempt1的结束时间为12：30，JobAttempt2的结束时间为12：35，则JobAttempt0不被计入尝试次数，这个作业的有效尝试只有JobAttempt1和JobAttempt2，总尝试计数为2。

资源配置相关参数：

参数名称

默认值

参数说明

spark.dla.driver.cpu-vcores-ratio

Driver虚拟Core实际CPU Core之间的比例。

假设Driver是Medium规格（2C8G），本参数值设置为2，那么Driver进程可以按照4个Core进行并发控制，相当于spark.driver.cores=4。

spark.dla.executor.cpu-vcores-ratio

Executor虚拟Core实际CPU Core之间的比例。当单个Task的CPU使用率比较低时，可以通过该配置，提升CPU利用效率。

假设Executor是Medium规格（2C8G），本参数值设置为2，那么Executor进程可以按照4个Core进行并发控制，也就是同时调度4个并发任务，相当于spark.executor.cores=4。

监控相关参数：
参数名称
默认值
参数说明
spark.dla.monitor.enabled
true
作业级别监控开关，默认打开。
当设置为false后将不采集当前作业的监控数据。