云原生大数据计算服务 MaxCompute：计算资源配置优化

示例场景

某公司购买了一定量的包年包月计算资源，当前的资源配置方案为预留1000CU的计算资源供作业使用，每天有两批作业固定运行在这些资源上：

• 第一批作业：在每天01:00前全部完成作业提交开始运行，希望在02:00前完成运行，当前资源配置下作业无法按预期时间完成。

• 第二批作业：在每天05:00前全部完成作业提交开始运行，希望在06:00前完成运行。

• 资源成本（目录价）：月计算资源成本为1,000 CU*22.0 USD/CU=22,000 USD。

MaxCompute计算资源优化方案生成逻辑

1. 根据示例场景的基本情况，得出日CU请求预测值。

   

   1. 根据两批作业历史30天的运行情况，预测出两批作业分完成运行所需要占用的资源（资源CU时），假设两个预测值分别为：

      • 第一批作业：

        占用1500CU资源，运行了1h，资源CU时=1500CU*1h=1500CU时。

      • 第二批作业：

        占用750CU资源，运行了1h，资源CU时=750CU*1h=750CU时。

   2. 根据两批作业期望完成运行的时间，设定两个评估时间点，分别为02:00和06:00。

2. 评估基于当前资源配置现状，后续资源的消耗情况。

   说明

   以下相关评估指标的数据主要通过CU时来进行预估，详细的计算逻辑可参见下文的相关术语中对应的术语。

   

   • 第一批作业运行需占用1500CU时，资源预留了1000CU，全部运行完成第一批作业需运行1.5h，导致第一批作业在02:30才全部运行完成，作业延期30min。

   • 第二批作业运行需占用750CU时，资源预留了1000CU，全部运行完成第二批作业需运行0.75h，即在05:45左右全部运行完成，资源有冗余，作业无延迟。

     通过预估可知，当前资源配置方案下：

     预测指标	计算公式	第一批作业	第二批作业
     需求满足度	期望运行完成时间点： 资源已使用CU时/实际需要的CU时	66.67% （资源不足）	100% （资源冗余）
     作业延迟	如果未在期望时间前完成运行： 实际完成时间 - 期望完成时间	30min	0min

3. 根据产出目标（希望资源配置优化后作业完成运行的时间点），生成最优资源配置优化方案。

   

   • 优化方案：固定预留750CU资源，并在01:00~02:00的时间范围内额外增加弹性预留750CU资源。

   • 优化后的结果：

     • 两批作业需求满足度为100%，作业延迟为0min。

     • 资源成本（目录价）：750 CU*22.0 USD/CU+750 CU × 0.0488 USD/CU/H*1 H*30=17,598 USD，较优化前的月计算成本1,000 CU*22.0 USD/CU=22,000 USD，降低4,402 USD。

MaxCompute计算资源优化方案生成逻辑

1. 根据示例场景的基本情况，得出日CU请求预测值。

   1. 根据两批作业历史30天的运行情况，预测出两批作业分完成运行所需要占用的资源（资源CU时），假设两个预测值分别为：

      • 第一批作业：

        占用100CU资源，运行了1h，资源CU时=100CU*1h=100CU时。

      • 第二批作业：

        占用50CU资源，运行了1h，资源CU时=50CU*1h=50CU时。

   2. 根据两批作业期望完成运行的时间，设定两个评估时间点，分别为02:00和06:00。并设置产出目标，默认为不接受延时。

2. 根据产出目标（希望资源配置优化后作业完成运行的时间点），生成最优资源配置优化方案。

   • 优化方案：固定预留50CU资源，并在01:00~02:00的时间范围内额外增加弹性预留50CU资源。

   • 优化后的结果：

     • 两批作业需求满足度为100%，作业延迟为0min。

     • 资源成本（目录价）：50CU*22.0 USD/CU+50CU* 0.0488 USD/CU/H*1H*30=1,173.2 USD，较优化前的月计算成本1,576.8 USD，降低403.6 USD。

MaxCompute计算资源优化方案生成逻辑

1. 根据示例场景的基本情况，得出按量付费项目和包年包月Quota的日CU请求预测值并叠加。

   1. 根据包年包月Quota上的两批作业历史30天的运行情况，预测出两批作业分完成运行所需要占用的资源（资源CU时），假设两个预测值分别为：

      • 第一批作业：

        需要占用1500CU资源，运行了1h，资源CU时=1500CU*1h=1500CU时。

      • 第二批作业：

        需要占用750CU资源，运行了1h，资源CU时=750CU*1h=750CU时。

   2. 根据项目A的两批作业历史30天的运行情况，预测出两批作业分完成运行所需要占用的资源（资源CU时），假设两个预测值分别为：

      • 第一批作业：

        需要占用500CU资源运行1h，资源CU时=500CU*1h=500CU时。

      • 第二批作业：

        需要占用250CU资源运行1h，资源CU时=250CU*1h=250CU时。

   3. 根据两批作业期望完成运行的时间，设定两个评估时间点，分别为02:00和06:00。

2. 评估基于当前包年包月Quota的资源配置现状，推导资源的消耗情况。

   说明

   以下相关评估指标的数据主要通过CU时来进行预估，详细的计算逻辑可参见下文的相关术语中对应的术语。

   

   • 按量付费项目A的作业并入后，第一批作业运行共需占用2000CU时，资源预留了1000CU，全部运行完成第一批作业需运行2h，导致第一批作业在03:00才全部运行完成，作业延期1h。

   • 按量付费项目A的作业并入后，第二批作业运行共需占用1000CU时，资源预留了1000CU，全部运行完成第二批作业需运行1h，即在06:00左右全部运行完成，作业无延迟。

   通过预估可知，当前资源配置方案下：

   预测指标	计算公式	第一批作业	第二批作业
   需求满足度	期望运行完成时间点：资源已使用CU时/实际需要的CU时	50%（资源不足）	100%
   作业延迟	如果未在期望时间前完成运行：实际完成时间 - 期望完成时间	1h	0min

3. 根据产出目标（希望资源配置优化后作业完成运行的时间点），生成最优资源配置优化方案。评估基于当前包年包月Quota的资源配置现状，推导资源的消耗情况。

   • 优化方案：固定预留1000CU资源，并在01:00~02:00的时间范围内额外增加弹性预留1000CU资源。

   • 优化后的结果：

     • 两批作业需求满足度为100%，作业延迟为0min。

     • 资源成本（目录价）：1000CU CU*22.0 USD/CU+1000 CU × 0.0488 USD/CU/H*1 H*30=23,464 USD，较优化前的月计算成本27,518.8 USD，降低4,054.8 USD。