全部产品

开源大数据平台E-MapReduce：编辑资源队列

更新时间：Dec 22, 2023

资源队列用于管理和调度集群资源，旨在实现资源的灵活分配和优化。通过阿里云EMR控制台，您可以方便地管理资源队列，并关联不同的分区。

前提条件

已创建集群，且集群状态为运行中。创建集群详情，请参见创建集群。

使用限制

YARN调度器需使用capacity scheduler。
自定义分区相关功能，适用于EMR-5.11.1及之后版本、EMR-3.45.1及之后版本。

关联YARN分区与队列

重要

该功能适用于EMR-5.12.1及之后版本、EMR-3.46.1及之后版本。
如果关闭了分区与队列关联，则会一键清空当前分区已关联的队列。

进入服务的配置页面。
1. 登录E-MapReduce控制台。
2. 在顶部菜单栏处，根据实际情况选择地域和资源组。
3. 在EMR on ECS页面，单击目标集群操作列的集群服务。
4. 在集群服务页面，单击YARN服务区域的配置。
单击编辑资源队列页签。
在选择分区下拉列表中选择已有的分区。
默认展示DEFAULT_PARTITION分区，所有队列均可访问该分区。新增分区的具体操作，请参见EMR控制台管理YARN分区。
打开启用分区与队列关联管理开关。
列表会为您展示可访问当前分区或在当前分区有容量的队列。
在弹出的对话框中，设置队列容量占比，单击确定。
生效配置。
1. 单击编辑资源队列页签上方的提示灯。
2. 在弹出的对话框中，单击配置下发。
3. 单击编辑资源队列页签上方的提示灯。
4. 单击待生效配置。

新增队列

重要

为叶子队列添加子队列时，必须先停止该队列，才可添加成功，否则会部署失败。

（可选）在YARN服务的编辑资源队列页签，在选择分区下拉列表中选择已有的分区。
默认展示DEFAULT_PARTITION分区。
单击管理队列或管理子队列。
可以在选择父级队列下拉列表中选择父队列。
默认root队列。
在管理子队列对话框中，单击新增队列。
设置队列名称、队列容量占比和状态，单击确定。
同一父队列的所有子队列容量之和须为100%。
生效配置。
1. 单击编辑资源队列页签上方的提示灯。
2. 在弹出的对话框中，单击配置下发。
3. 单击编辑资源队列页签上方的提示灯。
4. 单击待生效配置。

编辑队列

（可选）在YARN服务的编辑资源队列页签，在选择分区下拉列表中选择已有的分区。
默认展示DEFAULT_PARTITION分区。
在编辑资源队列页签，单击root队列前的图标。
单击目标队列操作列的编辑。

在编辑对话框中，可以修改以下参数，单击确定。

参数	说明
当前队列名称	队列名称，您可以自定义。仅DEFAULT_PARTITION分区下可以编辑。
用户最小容量	单个用户可以使用集群中的资源比例。对应YARN UI的`Configured Minimum User Limit Percent`参数。仅DEFAULT_PARTITION分区下可以编辑。
用户资源因子	单个用户最多可使用的资源量与该队列容量的比例。对应YARN UI的`Configured user limit factor`参数。仅DEFAULT_PARTITION分区下可以编辑。
资源队列状态	包括开启和停止状态。仅DEFAULT_PARTITION分区下可以编辑。说明在将父队列设置为停止之前，必须先将其下的所有子队列全部停止。
可访问分区	队列可以访问的分区。说明 EMR-5.12.1及之后版本、EMR-3.46.1及之后版本，所有队列默认可访问DEFAULT分区。子队列的可访问分区默认会继承父队列，但也可根据需要单独进行配置。
默认分区	队列默认分区。如果没有进行分区配置，默认为使用仅DEFAULT_PARTITION分区。

生效配置。
1. 单击编辑资源队列页签上方的提示灯。
2. 在弹出的对话框中，单击配置下发。
3. 单击编辑资源队列页签上方的提示灯。
4. 单击待生效配置。

删除队列

重要

待删除队列状态须为停止，删除才能生效，否则会部署失败。
删除队列前，需保证所有分区下该队列容量为0。
同一父队列的所有子队列容量之和须为100%。
如果您使用的是YARN 2.8.5版本，则在删除队列时，refresh_queues操作将无法生效。您需要在YARN状态页签下手动重启ResourceManager，才能使更改生效。

（可选）在YARN服务的编辑资源队列页签，在选择分区下拉列表中选择已有的分区。
默认展示DEFAULT_PARTITION分区。
单击管理队列。
在管理子队列对话框中，修改待删除队列的状态为停止，队列容量占比为0，单击确定。
生效配置。
1. 单击编辑资源队列页签上方的提示灯。
2. 在弹出的对话框中，单击配置下发。
3. 单击编辑资源队列页签上方的提示灯。
4. 单击待生效配置。
再次单击管理队列。
在管理子队列对话框中，单击待删除队列操作列的删除，单击确定。
生效配置。
1. 单击编辑资源队列页签上方的提示灯。
2. 在弹出的对话框中，单击配置下发。
3. 单击编辑资源队列页签上方的提示灯。
4. 单击待生效配置。