每个Flink项目空间都会有一个默认队列(default-queue)来承载作业的运行。如果您有资源隔离和管理的需求,可以通过添加资源队列的方式实现。本文为您介绍如何添加、修改和删除资源队列。
使用场景及方式
对于有资源隔离和管理需求的批作业场景,配置资源队列可以实现批作业资源的有效管理,避免单一任务或用户过度占用资源,造成其他任务或用户无法获得足够资源而任务失败的情况发生。同时,通过将批作业部署到指定资源队列,并配合任务编排功能确定调度优先级,可以确保关键或重要作业获得更高的处理优先级和更多的资源,从而提高系统性能和资源利用率。
您可以通过以下方式使用资源队列:
部署作业时,部署目标选择为目标资源队列,详情请参见部署作业。
说明如果您没有添加新的资源队列,则默认会使用default-queue来部署并运行作业。
创建Session集群时,部署目标选择为目标资源队列,详情请参见步骤一:创建Session集群。
创建工作流时设置目标资源队列,详情请参见管理工作流。
使用限制
目前仅支持独享模式,暂不支持抢占模式。即资源队列的任务资源不会被抢占,使用完成释放资源后,对应的资源才可以被新的任务使用。
添加资源队列
您可以通过添加资源队列来实现对资源的隔离和管理。不添加新的资源队列,则默认会使用default-queue来承载作业的运行。
修改资源量
删除资源队列
不支持删除default-queue。
如果队列上存在已部署且运行的作业时,则无法删除。
队列删除后,已部署在该队列上的作业重新启动时会报错。
登录实时计算管理控制台。
单击目标工作空间操作列下的控制台。
在左侧导航栏,单击
。单击删除队列。
单击确定。
相关文档
项目空间资源变配或配额上限调整,请参见资源调整。
SQL作业、JAR作业和Python作业部署操作,请参见部署作业。
Session集群创建操作,请参见步骤一:创建Session集群。
使用任务编排功能可以编排批作业运行的顺序,详情请参见任务编排(公测)。