Spark任务类型用于执行Spark应用。本文为您介绍创建Spark类型任务时涉及的参数。
参数
参数 | 说明 |
节点名称 | 任务的名称。一个工作流定义中的节点名称是唯一的。 |
运行标志 |
|
描述 | 当前节点的功能描述。 |
任务优先级 | 流程运行的优先级。支持以下级别：
|
失败重试次数 | 工作流运行失败自动重试的次数。 |
失败重试间隔 | 每次失败重试的间隔。单位：分。 |
延时执行时间 | 延时执行的时间，默认为0，即立即执行，设置了该值后才执行延时操作。单位：分。 |
超时告警 | 该开关默认关闭。打开超时告警开关，勾选超时告警、超时失败，当任务超过超时时长后，会发送告警邮件并且任务执行失败。 |
程序类型 | 支持JAVA、SCALA、PYTHON、SQL和CUSTOM_SCRIPT语言。 说明 选择的类型不同，展示的参数也不同，具体以控制台为准。 |
主函数的Class | Spark程序的入口Main Class的全路径。 |
主程序包 | 执行Spark程序的JAR包。通过资源中心上传，详情请参见资源中心。 |
部署方式 | 仅支持cluster模式部署。 |
脚本 |
|
任务名称 | Spark程序的名称。 |
Driver核心数 | 用于设置Driver内核数，请根据实际生产环境设置。 |
Driver内存数 | 用于设置Driver内存数，请根据实际生产环境设置。 |
Executor数量 | 用于设置Executor的数量，请根据实际生产环境设置。 |
Executor内存数 | 用于设置Executor内存数，请根据实际生产环境设置。 |
Executor核心数 | 用于设置Executor内核数，请根据实际生产环境设置。 |
主程序参数 | 设置Spark程序的输入参数，支持自定义参数变量的替换。 |
选项参数 | 支持 |
资源 | 任务执行时所需的资源文件。如果其他参数中引用了资源文件，需要选择在资源中心的文件管理页面，创建或者上传的文件。 |
自定义参数 | 任务的自定义参数，会替换脚本中 |
前置任务 | 设置当前任务的前置（上游）任务。 |