DataWorks：建立EMR Spark Streaming節點

建立並引用EMR JAR資源

如果您使用的是DataLake（新版資料湖）叢集，則可通過如下步驟引用EMR JAR資源。

1. 準備EMR JAR範例程式碼。

   Plaintext

   spark-submit --master yarn
   --deploy-mode cluster
   --name SparkPi
   --driver-memory 4G
   --driver-cores 1
   --num-executors 5
   --executor-memory 4G
   --executor-cores 1
   --class org.apache.spark.examples.JavaSparkPi
   hdfs:///tmp/jars/spark-examples_2.11-2.4.8.jar 100

   說明

   若EMR Spark Streaming節點依賴的資源較大，則無法通過DataWorks頁面上傳。您可將資源存放至HDFS上，然後在代碼中進行引用。程式碼範例如下。

2. 建立EMR JAR資源，詳情請參見建立和使用EMR資源。首次使用需要進行一鍵授權。

3. 引用EMR JAR資源。

   1. 開啟建立的EMR Spark Streaming節點，停留在代碼編輯頁面。

   2. 在EMR > 資源節點下，找到待引用資源，右鍵選擇引用資源。

   3. 選擇資源後，當節點編輯頁面顯示##@resource_reference{""}格式的語句，表明資源引用成功。此時，需要執行下述命令。命令涉及的資源套件、Bucket名稱、路徑資訊等為本文樣本的內容，使用時，請替換為實際使用的資訊。

      ##@resource_reference{"examples-1.2.0-shaded.jar"}
      --master yarn-cluster --executor-cores 2 --executor-memory 2g --driver-memory 1g --num-executors 2 --class com.aliyun.emr.example.spark.streaming.JavaLoghubWordCount examples-1.2.0-shaded.jar <logService-project> <logService-store> <group> <endpoint> <access-key-id> <access-key-secret>

開發SQL代碼

在EMR Spark Streaming節點的編輯頁面，輸入需要執行的作業代碼。樣本如下。

spark-submit --master yarn-cluster --executor-cores 2 --executor-memory 2g --driver-memory 1g --num-executors 2 --class com.aliyun.emr.example.spark.streaming.JavaLoghubWordCount examples-1.2.0-shaded.jar <logService-project> <logService-store> <group> <endpoint> <access-key-id> <access-key-secret>

（可選）配置進階參數

您可在節點進階設定處配置特有屬性參數。更多屬性參數設定，請參考Spark Configuration。叢集可配置的進階參數具體如下表。

執行SQL任務

1. 在工具列單擊表徵圖，在參數對話方塊選擇已建立的調度資源群組，單擊運行。

   說明

   • 訪問公用網路或VPC網路環境的資料來源需要使用與資料來源測試連通性成功的調度資源群組。詳情請參見網路連通方案。

   • 如果您後續執行任務需要修改使用的資源群組，您可單擊帶參運行表徵圖，選擇需要更換的調度資源群組。

2. 單擊表徵圖，儲存編寫的SQL語句。

3. （可選）煙霧測試 (Smoke Test)。

   如果您希望在開發環境進行煙霧測試 (Smoke Test)，可在執行節點提交或節點提交後執行煙霧測試 (Smoke Test)，操作詳情請參見執行煙霧測試 (Smoke Test)。