JAR作业开发实践 - 云原生多模数据库 Lindorm

本文介绍Lindorm计算引擎JAR作业开发的详细步骤。

前提条件

已创建并开通Lindorm实例的宽表引擎，具体操作请参见创建实例。
已开通Lindorm实例的计算引擎服务，具体操作请参见开通与变配。
已安装Java环境，要求使用JDK 1.8及以上版本。

步骤一：依赖配置

Lindorm计算引擎JAR作业依赖社区版Spark 3.2.1版本，并且需要将scope字段配置为provided。示例如下：

<!-- Example -->
<dependency>
  <groupId>org.apache.spark</groupId>
  <artifactId>spark-core_2.12</artifactId>
  <version>3.2.1</version>
  <scope>provided</scope>
</dependency>

步骤二：权限配置

如果您需要通过Spark SQL的方式访问Lindorm宽表引擎数据，访问方法请参见访问宽表数据，并且需要配置用户名密码，代码示例如下：

SparkConf conf = new SparkConf();
conf.set("spark.sql.catalog.lindorm_table.username", "root");
conf.set("spark.sql.catalog.lindorm_table.password", "root");

参数	参数值	说明
spark.sql.catalog.lindorm_table.username	默认用户名root。	访问Lindorm宽表引擎的用户名。
spark.sql.catalog.lindorm_table.password	默认密码root。	访问Lindorm宽表引擎的密码。

步骤三：参数配置

Lindorm计算引擎提供的配置项和配置方法请参见作业配置说明。

步骤四：代码示例

JAR作业代码开发方式完全兼容社区版Spark 3.2.1版本，代码示例请参见Spark作业示例。

步骤五：作业提交

Lindorm计算引擎支持以下两种方式提交并管理作业。

通过Lindorm控制台提交作业，操作方法请参见通过控制台管理作业。
通过DMS提交作业，操作方法请参见通过DMS管理作业。