全部產品
Search
文件中心

E-MapReduce:Spark Shell作業配置

更新時間:Jul 01, 2024

本文介紹如何配置Spark Shell類型的作業。

前提條件

已建立好專案,詳情請參見專案管理

操作步驟

  1. 進入資料開發的專案列表頁面。
    1. 通過阿里雲帳號登入阿里雲E-MapReduce控制台
    2. 在頂部功能表列處,根據實際情況選擇地區和資源群組
    3. 單擊上方的資料開發頁簽。
  2. 單擊待編輯專案所在行的作業編輯
  3. 建立Spark Shell類型作業。
    1. 在頁面左側,在需要操作的檔案夾上單擊右鍵,選擇新增作業
    2. 新增作業對話方塊中,輸入作業名稱作業描述,從作業類型下拉式清單中選擇Spark Shell作業類型。
    3. 單擊確定
  4. 編輯作業內容。
    1. 作業內容中,輸入Spark Shell命令後續的參數。
      樣本如下。
      val count = sc.parallelize(1 to 100).filter { _ =>
        val x = math.random
        val y = math.random
        x*x + y*y < 1
      }.count();
      println("Pi is roughly ${4.0 * count / 100}")
    2. 單擊儲存,作業內容編輯完成。