全部產品
Search
文件中心

E-MapReduce:建立工作空間

更新時間:Nov 23, 2024

工作空間是Serverless Spark的基本單元,用於管理工作、成員、角色和許可權。所有的任務開發都需要在具體的工作空間內進行。因此,在開始任務開發之前,您需要先建立工作空間。本文將為您介紹如何在EMR Serverless Spark頁面快速建立工作空間。

前提條件

  • 登入阿里雲帳號並完成實名認證。

  • 已準備建立工作空間所需的帳號並授權:

    • 使用阿里雲主帳號建立,授權詳情請參見阿里雲帳號角色授權

    • 如果使用RAM使用者(子帳號)或RAM角色建立,請確保已授權該RAM使用者或RAM角色AliyunEMRServerlessSparkFullAccessAliyunOSSFullAccessAliyunDLFFullAccess權限原則。然後,在EMR Serverless Spark的存取控制頁面添加該RAM使用者或RAM角色,並授予管理員角色,詳情請參見RAM使用者授權系統管理使用者和角色

  • 已開通DLF資料湖構建,詳情請參見快速入門。支援開通DLF的地區請參見已開通的地區和訪問網域名稱

  • 已開通OSS服務並建立了儲存空間,詳情請參見開通OSS服務建立儲存空間

注意事項

代碼的運行環境由所屬使用者負責管理和配置。

操作步驟

  1. 進入EMR Serverless Spark頁面。

    1. 登入E-MapReduce控制台

    2. 在左側導覽列,選擇EMR Serverless > Spark

    3. 在頂部功能表列處,根據實際情況選擇地區。

      重要

      建立工作空間後,不能更改地區。

  2. 單擊建立工作空間

  3. 在E-MapReduce Serverless Spark頁面,完成相關配置。

    參數

    說明

    樣本

    地區

    建議選擇與您資料所在地相同的地區。

    華東1(杭州)

    付費類型

    目前僅支援隨用隨付

    隨用隨付

    工作空間名稱

    以字母開頭,僅支援英文字母、數字和短劃線(-),長度限制為1~60個字元。

    說明

    同一個阿里雲帳號下的工作空間名稱是唯一的,請勿填寫已有的名稱,否則會提示您重新填寫。

    emr-serverless-spark

    瞬時配額上限

    工作空間同時處理任務的最大並發CU數量。

    1000

    工作空間基礎路徑

    用於儲存任務日誌、運行事件、資源等資料檔案。

    建議選擇一個開通了OSS-HDFS服務的Bucket,它提供了原生HDFS介面相容性。如果您的應用情境不涉及HDFS,則可以直接選擇一個OSS Bucket。

    emr-oss-hdfs

    DLF作為中繼資料服務

    用於儲存和管理您的中繼資料。

    開通DLF後,系統會為您選擇預設的DLF資料目錄,預設為UID。如果針對不同叢集您期望使用不同的資料目錄,則可以按照以下方式建立目錄。

    1. 單擊建立資料目錄,在彈出的對話方塊中輸入目錄ID,然後單擊確定

    2. 在下拉式清單中,選擇您建立的資料目錄。

    emr-dlf

    進階設定

    開啟該開關後,您需要配置以下資訊:

    執行角色:指定EMR Serverless Spark運行任務所採用的角色名稱,角色名稱為AliyunEMRSparkJobRunDefaultRole。

    EMR Spark使用該角色來訪問您在其他雲產品中的資源,包括OSS和DLF等產品的資源。

    AliyunEMRSparkJobRunDefaultRole

  4. 當所有的資訊確認正確後,閱讀並選中服務合約

  5. 單擊建立工作空間

相關文檔

建立工作空間後,您可以開始進行相關任務的開發,例如SparkSQL任務,詳情請參見SQL開發快速入門