本文介紹如何配置Spark Shell類型的作業。
前提條件
已建立好專案,詳情請參見專案管理。操作步驟
- 進入資料開發的專案列表頁面。
- 通過阿里雲帳號登入阿里雲E-MapReduce控制台。
- 在頂部功能表列處,根據實際情況選擇地區和資源群組。
- 單擊上方的資料開發頁簽。
- 單擊待編輯專案所在行的作業編輯。
- 建立Spark Shell類型作業。
- 在頁面左側,在需要操作的檔案夾上單擊右鍵,選擇新增作業。
- 在新增作業對話方塊中,輸入作業名稱和作業描述,從作業類型下拉式清單中選擇Spark Shell作業類型。
- 單擊確定。
- 編輯作業內容。
- 在作業內容中,輸入Spark Shell命令後續的參數。樣本如下。
val count = sc.parallelize(1 to 100).filter { _ => val x = math.random val y = math.random x*x + y*y < 1 }.count(); println("Pi is roughly ${4.0 * count / 100}")
- 單擊儲存,作業內容編輯完成。
- 在作業內容中,輸入Spark Shell命令後續的參數。