全部產品
Search
文件中心

E-MapReduce:Spark Submit開發快速入門

更新時間:Feb 12, 2026

EMR Serverless Spark相容spark-submit命令列參數,簡化了任務執行流程。本文通過一個樣本,為您示範如何進行Spark Submit開發,確保您能夠快速上手。

前提條件

  • 已建立工作空間,詳情請參見管理工作空間

  • 已提前完成商務應用程式開發,並構建好JAR包。

操作步驟

步驟一:開發JAR包

本快速入門旨在帶您快速熟悉Spark Submit任務,為您提供了工程檔案以及測試JAR包,您可以直接下載以備後續步驟使用。

單擊spark-examples_2.12-3.5.2.jar,直接下載測試JAR包。

說明

spark-examples_2.12-3.5.2.jar是Spark內建的一個簡單樣本,用於計算圓周率π的值,它必須與esr-4.x引擎版本結合使用以提交任務。如果您使用esr-5.x引擎版本提交任務,請下載spark-examples_2.13-4.0.1.jar以便進行本文的驗證。

步驟二:上傳JAR包至OSS

本文樣本是上傳spark-examples_2.12-3.5.2.jar,上傳操作可以參見簡單上傳

步驟三:開發並運行任務

  1. 在EMR Serverless Spark頁面,單擊左側的資料開發

  2. 開發目錄頁簽下,單擊image表徵圖。

  3. 輸入名稱,類型選擇批任務 > Spark Submit,然後單擊確定

  4. 在右上方選擇隊列。

    添加隊列的具體操作,請參見管理資源隊列

  5. 在建立的任務開發中,配置以下資訊,其餘參數無需配置,然後單擊運行

    參數

    說明

    指令碼

    填寫您的Spark Submit指令碼。

    例如,指令碼內容如下。

    --class org.apache.spark.examples.SparkPi \
    --conf spark.executor.memory=2g \
    oss://<YourBucket>/spark-examples_2.12-3.5.2.jar
  6. 在下方的運行記錄地區,單擊任務操作列的日志探查

  7. 日志探查頁簽,您可以查看相關的日誌資訊。

    image

步驟四:發布任務

重要

發行的任務可以作為工作流程節點的任務。

  1. 任務運行完成後,單擊右側的發布

  2. 在任務發布對話方塊中,可以輸入發布資訊,然後單擊確定

(可選)步驟五:查看Spark UI

任務正常運行後,您可以在Spark UI上查看任務的運行情況。

  1. 在左側導覽列,單擊任務歷史

  2. Application頁面,單擊目標任務操作列的Spark UI

    將自動開啟Spark UI頁面,可查看任務詳情。

相關文檔

任務發布完成後,您可以在工作流程調度中使用,詳情請參見管理工作流程。任務編排完整的開發流程樣本,請參見SparkSQL開發快速入門