全部产品
Search
文档中心

云原生大数据计算服务 MaxCompute:计算资源-Quota调度策略说明

更新时间:Jul 31, 2024

MaxCompute的包年包月计算资源有限,在实际数据开发过程中,系统可以并发运行多个作业,因此涉及到计算资源的分配。MaxCompute中每个包年包月二级Quota的调度策略分为FIFO(先进先出)和FAIR(公平调度)。您可以通过设置二级Quota的调度策略,实现资源的合理分配。

注意事项

  • 在实际资源调度中,作业优先级调度策略高于Quota调度策略。即资源总是优先分配给优先级高的作业,在同等优先级的作业中再根据Quota调度策略进行资源分配。

  • 暂不支持对类型为交互式的二级Quota设置调度策略。

  • 自2023年5月24日起,所有地域新建的二级Quota调度策略默认值为FIFO。在此时间之前创建的二级Quota调度策略默认值为FAIR,详情请参见公告

概述

特征

FAIR(公平调度)

FIFO(先进先出)

调度特征

  • 对于作业优先级相同的场景,资源将平均分配至同一时间段内运行的所有作业。

  • 对于作业优先级不同的场景,资源将先平均分配给优先级较高的作业,若有剩余,再平均分配给优先级较低的作业。

  • 对于作业优先级相同的场景,资源将优先分配至先提交的作业。

  • 对于作业优先级不同的场景,即使优先级高的作业提交时间晚于优先级低的作业,资源也将优先分配至高优先级作业。

适用场景

  • 人机交互场景:多个数据工程师一起提交作业,均希望能看到作业的进展。

  • 多基线依赖场景:Quota组资源被多条基线依赖,每条基线任务需要同时运行,否则会影响基线作业产出。

整体任务场景:提交的多个作业为一个整体任务,只关注吞吐和最后完成时间,而不关心单个作业的完成时间。

优势

同一时间段内可以运行多个作业。

单作业平均运行时间短。

风险

单作业平均运行时间长。

可能存在一个大作业占用绝大部分资源,导致同Quota组其他作业一直处于排队等待被编译状态。

说明
  • 可通过查看logview确认作业运行状态,若子状态为Waiting for cluster resource,则表示作业排队等待被编译。

  • 可通过设置单作业CU上限降低此风险。设置方法请参见配置Quota

策略特征

设置Quota调度策略

  1. 登录MaxCompute控制台,在左上角选择地域。

  2. 在左侧导航栏,单击配额(Quota)管理

  3. Quota管理页面,单击需要配置的一级Quota操作列的Quota配置

  4. Quota配置页面的Quota计划页签,单击需要配置的Quota计划操作列的编辑,或在新建Quota计划页面,配置Quota的如下参数:

    参数

    说明

    调度策略

    MaxCompute二级Quota调度策略包含FAIR、FIFO。您需要根据业务情况选择合适的调度策略。

  5. 单击确定,完成Quota计划配置后,再单击操作列的立即生效启用最新配置。

相关文档

更多Quota设置请参见计算资源-Quota管理(新版)