JAR作業開發實踐 - Lindorm

本文介紹Lindorm計算引擎JAR作業開發的詳細步驟。

前提條件

已建立並開通Lindorm執行個體的寬表引擎，具體操作請參見建立執行個體。
已開通Lindorm執行個體的計算引擎服務，具體操作請參見開通與變更配置。
已安裝Java環境，要求使用JDK 1.8及以上版本。

步驟一：依賴配置

Lindorm計算引擎JAR作業依賴社區版Spark 3.2.1版本，並且需要將scope欄位配置為provided。樣本如下：

<!-- Example -->
<dependency>
  <groupId>org.apache.spark</groupId>
  <artifactId>spark-core_2.12</artifactId>
  <version>3.2.1</version>
  <scope>provided</scope>
</dependency>

步驟二：許可權配置

如果您需要通過Spark SQL的方式訪問Lindorm寬表引擎資料，存取方法請參見訪問寬表引擎資料，並且需要配置使用者名稱密碼，程式碼範例如下：

SparkConf conf = new SparkConf();
conf.set("spark.sql.catalog.lindorm_table.username", "root");
conf.set("spark.sql.catalog.lindorm_table.password", "root");

參數	參數值	說明
spark.sql.catalog.lindorm_table.username	預設使用者名root。	訪問Lindorm寬表引擎的使用者名稱。
spark.sql.catalog.lindorm_table.password	預設密碼root。	訪問Lindorm寬表引擎的密碼。

步驟三：參數配置

Lindorm計算引擎提供的配置項和配置方法請參見作業配置說明。

步驟四：程式碼範例

JAR作業代碼開發方式完全相容社區版Spark 3.2.1版本，程式碼範例請參見Spark作業樣本。

步驟五：作業提交

Lindorm計算引擎支援以下兩種方式提交並管理作業。

通過Lindorm控制台提交作業，操作方法請參見通過控制台管理作業。
通過DMS提交作業，操作方法請參見通過DMS管理作業。