本文介绍如何在云原生数据仓库 AnalyticDB MySQL 版控制台创建和执行Spark应用。
功能说明
通过Spark开发编辑器创建和执行Spark离线应用或流应用。
查看当前Spark应用Driver的日志和应用提交时的相关信息。
查看SQL语句的执行日志。
前提条件
集群的产品系列为湖仓版。
已在湖仓版集群中创建Job型资源组。具体操作，请参见新建资源组。
已为RAM用户授权。具体操作，请参见为RAM子账号授权。
已创建AnalyticDB for MySQL集群的数据库账号。
如果是通过阿里云账号访问，只需创建高权限账号。具体操作，请参见创建高权限账号。
如果是通过RAM用户访问，需要创建高权限账号和普通账号并且将RAM用户绑定到普通账号上。具体操作，请参见创建数据库账号和绑定或解绑RAM用户与数据库账号。
已授权AnalyticDB for MySQL扮演AliyunADBSparkProcessingDataRole角色来访问其他云资源。具体操作，请参见账号授权。
已配置Spark应用的日志存储地址。
说明登录云原生数据仓库AnalyticDB MySQL控制台，在页面，单击日志配置，选择默认路径或自定义存储路径。自定义存储路径时不能将日志保存在OSS的根目录下，请确保该路径中至少包含一层文件夹。
创建和执行Spark应用
登录云原生数据仓库AnalyticDB MySQL控制台，在左上角选择集群所在地域。在左侧导航栏，单击集群列表，在湖仓版页签下，单击目标集群ID。
在左侧导航栏，单击。
在Spark Jar开发页面，单击应用列表右侧的
。在创建应用页面，按照页面提示进行参数配置。
参数名称
参数说明
名称
设置应用和目录的名字。文件名称不区分大小写。
类型
选择应用时，模板类型为文件。
选择目录时，模板类型为文件夹。
父级
设置文件或者文件夹的上层目录。
作业类型
Batch：离线应用。
Streaming：流应用。
SQL Engine：Spark distributed SQL Engine。
完成上述参数配置后，单击确定创建应用模板。
创建Spark模板文件后，您可以在Spark开发编辑器中配置Spark应用。如何配置Spark应用，请参见Spark应用开发介绍。
Spark应用配置编写完成后，您可以进行以下操作。
单击保存，保存Spark应用，便于后续复用应用。
单击立即执行，执行Spark应用，应用列表会实时显示执行状态。
在执行Spark应用前，需要选择Job型资源组和应用类型。
查看Spark应用信息
在应用列表页签中，搜索应用ID，执行以下操作，查看目标Spark应用信息。
日志：查看当前Spark应用Driver的日志或SQL语句的执行日志。
UI：跳转到对应的Spark UI。UI自身有访问有效期限制，过期后需要重新进入。
详情：当前应用提交时的相关信息。如日志地址、Web UI地址、集群ID、资源组名称等。
停止：终止当前运行中的应用。
历史：查看当前应用的重试列表。
在执行历史页签中，查看所有应用的重试列表。
说明默认情况下，一个应用失败后不会进行重试。如需进行重试，请配置重试参数（spark.adb.maxAttempts和spark.adb.attemptFailuresValidityInterval）。更多信息，请参见Spark应用配置参数说明中的配置参数说明。