全部產品
Search
文件中心

E-MapReduce:管理工作空間

更新時間:Sep 15, 2024

工作空間是EMR Serverless Spark管理工作、成員,分配角色和許可權的基本單元。您所有的配置、任務、工作流程均在具體的專案空間下進行。工作空間管理員可以加入成員至工作空間,並賦予工作空間管理員、資料分析、資料開發或訪客角色,以實現多角色協同工作。本文為您介紹工作空間的基本操作。

前提條件

  • 登入阿里雲帳號並完成實名認證。

  • 已準備建立工作空間所需的帳號並授權:

    • 使用阿里雲主帳號建立,授權詳情請參見阿里雲帳號角色授權

    • 如果使用RAM使用者(子帳號)或RAM角色建立,請確保已授權該RAM使用者或RAM角色AliyunEMRServerlessSparkFullAccessAliyunOSSFullAccessAliyunDLFFullAccess權限原則。然後,在EMR Serverless Spark的存取控制頁面添加該RAM使用者或RAM角色,並授予管理員角色,詳情請參見RAM使用者授權系統管理使用者和角色

  • 已開通DLF資料湖構建,詳情請參見快速入門。支援開通DLF的地區請參見已開通的地區和訪問網域名稱

  • 已開通OSS服務並建立了儲存空間,詳情請參見開通OSS服務建立儲存空間

建立工作空間

  1. 進入EMR Serverless Spark工作空間頁面。

    1. 登入E-MapReduce控制台

    2. 在左側導覽列,選擇EMR Serverless > Spark

  2. 在Spark頁面,單擊建立工作空間

  3. 建立工作空間對話方塊中,完成相關配置。

    參數

    說明

    地區

    地區指資料中心所在的地理地區,建議選擇與您資料所在地相同的地區,建立完成後不支援更改地區。

    付費類型

    目前僅支援隨用隨付模式。

    工作空間名稱

    以字母開頭,僅支援英文字母、數字和短劃線(-),長度限制為1~60個字元。

    說明
    • 同一個阿里雲帳號下的工作空間名稱是唯一的,請勿填寫已有的名稱,否則會提示您重新填寫。

    • 工作空間建立後,不可修改工作空間名稱。

    瞬時配額上限

    工作空間同時處理任務的最大並發CU數量。

    工作空間基礎路徑

    用於儲存作業日誌、運行事件、資源等資料檔案。為了在營運階段近即時地查看增量日誌,建議您選擇一個開通了OSS-HDFS服務的Bucket。

    DLF 作為中繼資料服務

    用於儲存和管理中繼資料。請選擇工作空間關聯的中繼資料目錄ID,您也可以通過以下步驟建立一個資料目錄。

    1. 單擊建立資料目錄,在彈出的對話方塊中輸入目錄ID,然後單擊確定

    2. 在下拉式清單中,選擇您建立的資料目錄。

    說明

    建立工作空間後,您還可以將已有的DLF資料目錄添加到工作空間中,更多介紹請參見資料目錄

    進階設定

    開啟該開關後,您需要配置以下資訊:

    執行角色:指定EMR Serverless Spark運行任務所採用的角色名稱,角色名稱為AliyunEMRSparkJobRunDefaultRole。

  4. 當所有的資訊確認正確後,閱讀並選中服務合約

  5. 單擊建立工作空間

刪除工作空間

重要
  • 刪除工作空間前,請確認該工作空間下不存在運行中的任務。如果該工作空間中存在還在啟動並執行任務,則會報錯,提示您停止啟動並執行任務後再刪除工作空間。

  • 工作空間刪除後,您工作空間下的資源將被釋放,包括任務和資料,這些資源將無法恢複。因此,請您在刪除之前務必進行任務指令碼的備份,以免資料丟失。

  • 工作空間所關聯的OSS/OSS-HDFS上的日誌等資料,不會隨著工作空間的銷毀而刪除。

  1. 在Spark頁面,單擊目標工作空間操作列的刪除

  2. 在彈出的對話方塊中,輸入工作空間名稱,確認執行該操作,單擊確定

相關文檔

  • 如果您需要將更多的RAM使用者添加至工作空間,並為其分配不同角色以便協同開發,您可以通過存取控制功能將RAM使用者引入工作空間,並為其指派相應的角色許可權,詳情請參見系統管理使用者和角色

  • 如果您有資源隔離和管理的需求,可以通過添加隊列的方式實現,詳情請參見管理資源隊列