工作空间是EMR Serverless Spark管理任务、成员,分配角色和权限的基本单元。您所有的配置、任务、工作流均在具体的项目空间下进行。工作空间管理员可以加入成员至工作空间,并赋予工作空间管理员、数据分析、数据开发或访客角色,以实现多角色协同工作。本文为您介绍工作空间的基本操作。
前提条件
已注册阿里云账号并完成实名认证。
已准备创建工作空间所需的账号并授权:
已开通DLF数据湖构建,详情请参见快速入门。支持开通DLF的地域请参见已开通的地域和访问域名。
创建工作空间
进入EMR Serverless Spark工作空间页面。
在左侧导航栏,选择
。
在Spark页面,单击创建工作空间。
在创建工作空间对话框中,完成相关配置。
参数
说明
地域
地域指数据中心所在的地理区域,建议选择与您数据所在地相同的地域,创建完成后不支持更改地域。
付费类型
目前仅支持按量付费模式。
工作空间名称
以字母开头,仅支持英文字母、数字和短划线(-),长度限制为1~60个字符。
说明同一个阿里云账号下的工作空间名称是唯一的,请勿填写已有的名称,否则会提示您重新填写。
工作空间创建后,不可修改工作空间名称。
瞬时配额上限
工作空间同时处理任务的最大并发CU数量。
工作空间基础路径
用于存储作业日志、运行事件、资源等数据文件。为了在运维阶段近实时地查看增量日志,建议您选择一个开通了OSS-HDFS服务的Bucket。
DLF 作为元数据服务
用于存储和管理元数据。请选择工作空间关联的元数据目录ID,您也可以通过以下步骤新建一个数据目录。
单击创建数据目录,在弹出的对话框中输入目录ID,然后单击确定。
在下拉列表中,选择您新建的数据目录。
说明创建工作空间后,您还可以将已有的DLF数据目录添加到工作空间中,更多介绍请参见数据目录。
高级设置
打开该开关后,您需要配置以下信息:
执行角色:指定EMR Serverless Spark运行任务所采用的角色名,角色名称为AliyunEMRSparkJobRunDefaultRole。
当所有的信息确认正确后,阅读并选中服务协议。
单击创建工作空间。
删除工作空间
删除工作空间前,请确认该工作空间下不存在运行中的任务。如果该工作空间中存在还在运行的任务,则会报错,提示您停止运行的任务后再删除工作空间。
工作空间删除后,您工作空间下的资源将被释放,包括任务和数据,这些资源将无法恢复。因此,请您在删除之前务必进行任务脚本的备份,以免数据丢失。
工作空间所关联的OSS/OSS-HDFS上的日志等数据,不会随着工作空间的销毁而删除。
在Spark页面,单击目标工作空间操作列的删除。
在弹出的对话框中,输入工作空间名称,确认执行该操作,单击确定。