大数据开发治理平台 DataWorks：创建EMR Spark Streaming节点

创建并引用EMR JAR资源

如果您使用的是DataLake（新版数据湖）集群，则可通过如下步骤引用EMR JAR资源。

1. 准备EMR JAR示例代码。

   Plaintext

   spark-submit --master yarn
   --deploy-mode cluster
   --name SparkPi
   --driver-memory 4G
   --driver-cores 1
   --num-executors 5
   --executor-memory 4G
   --executor-cores 1
   --class org.apache.spark.examples.JavaSparkPi
   hdfs:///tmp/jars/spark-examples_2.11-2.4.8.jar 100

   说明

   若EMR Spark Streaming节点依赖的资源较大，则无法通过DataWorks页面上传。您可将资源存放至HDFS上，然后在代码中进行引用。代码示例如下。

2. 创建EMR JAR资源，详情请参见创建和使用EMR资源。首次使用需要进行一键授权。

3. 引用EMR JAR资源。

   1. 打开创建的EMR Spark Streaming节点，停留在代码编辑页面。

   2. 在EMR > 资源节点下，找到待引用资源，右键选择引用资源。

   3. 选择资源后，当节点编辑页面显示##@resource_reference{""}格式的语句，表明资源引用成功。此时，需要执行下述命令。命令涉及的资源包、Bucket名称、路径信息等为本文示例的内容，使用时，请替换为实际使用的信息。

      ##@resource_reference{"examples-1.2.0-shaded.jar"}
      --master yarn-cluster --executor-cores 2 --executor-memory 2g --driver-memory 1g --num-executors 2 --class com.aliyun.emr.example.spark.streaming.JavaLoghubWordCount examples-1.2.0-shaded.jar <logService-project> <logService-store> <group> <endpoint> <access-key-id> <access-key-secret>

开发SQL代码

在EMR Spark Streaming节点的编辑页面，输入需要执行的作业代码。示例如下。

spark-submit --master yarn-cluster --executor-cores 2 --executor-memory 2g --driver-memory 1g --num-executors 2 --class com.aliyun.emr.example.spark.streaming.JavaLoghubWordCount examples-1.2.0-shaded.jar <logService-project> <logService-store> <group> <endpoint> <access-key-id> <access-key-secret>

（可选）配置高级参数

您可在节点高级设置处配置特有属性参数。更多属性参数设置，请参考Spark Configuration。集群可配置的高级参数具体如下表。

执行SQL任务

1. 在工具栏单击图标，在参数对话框选择已创建的调度资源组，单击运行。

   说明

   • 访问公共网络或VPC网络环境的数据源需要使用与数据源测试连通性成功的调度资源组。详情请参见网络连通方案。

   • 如果您后续执行任务需要修改使用的资源组，您可单击带参运行图标，选择需要更换的调度资源组。

2. 单击图标，保存编写的SQL语句。

3. （可选）冒烟测试。

   如果您希望在开发环境进行冒烟测试，可在执行节点提交或节点提交后执行冒烟测试，操作详情请参见执行冒烟测试。