云原生大数据计算服务 MaxCompute：资源观测

操作步骤

1. 登录MaxCompute控制台，在左上角选择地域。

2. 在左侧导航栏单击资源观测。

3. 在资源观测页面，选择作业性能观测页签。

4. 选择以下参数对作业进行过滤并分组，可以筛选出您希望查看的作业，按不同维度在图表视图中对各指标数据进行分组。

   参数	说明
   时间范围	必选。按照输入的时间范围（开始和结束时间）对执行完成的作业进行过滤。 您可以选择已预置的时间范围或手动配置时间范围： 1d：最近1天。 3d：最近3天。 7d：最近7天。 选择具体时间段：单击时间范围下拉列表，选择需要查询的日期后，单击选择时间，选择目标时间段。 说明 默认时间范围为最近1天。时间范围最长支持7天，最小支持1小时。最多可以搜索最近45天的作业。
   项目选择	按照MaxCompute项目名称进行过滤。 说明 默认选择所有项目。您可以自定义选择至多8个项目。
   Quota选择	按照计算Quota进行过滤。 说明 默认选择所有计算Quota。您可以自定义选择至多8个二级Quota。更多计算Quota信息，请参见计算资源-Quota管理（新版）。
   分组依据	必选。根据图表类型，您可以按多个维度在图表视图中对数据进行分组展示。 分组依据取值如下： 不分组（默认）：显示过滤范围内所有作业的各类指标随时间的变化趋势。 项目：显示过滤范围内所有作业的各类指标按项目分组的情况。 说明 选择按项目分组时，必须在过滤参数中指定项目，至多不能超过8个项目。 配额（Quota）：显示过滤范围内所有作业的各类指标按二级Quota分组的情况。 说明 选择按Quota分组时，必须在过滤参数中指定Quota，至多不能超过8个二级Quota。 作业类型：显示过滤范围内所有作业的各类指标按作业类型分组的情况。 SQL：SQL作业。 SQLRT：查询加速SQL作业。 LOT：MapReduce作业。 CUPID：Spark或Mars作业。 Algo_Task：机器学习作业。 GRAPH：图计算作业。 作业结束状态：显示过滤范围内所有作业的各类指标按作业结束时的状态分组的情况。 Success：运行成功。 Failed：失败。 Cancelled：取消。

5. 单击查询，查看各个指标的统计情况。

6. （可选）选择数据汇总维度，可按照选择的时间维度查看各个指标的统计情况。

   参数	说明
   按小时汇总	即一小时为一个刻度，表示当前小时运行结束的作业的统计数据，默认按小时汇总。 例如当前小时为2024-05-06 14:00，按小时汇总则显示2024-05-06 14:00至15:00区间内运行结束的作业各指标统计数据。
   按天汇总	即一天为一个刻度，表示当天运行结束的作业的统计数据。 例如当前日期为2024-05-06，选择按天汇总则显示2024-05-06 00:00至2024-05-07 00:00区间内运行结束的作业各指标统计数据。

7. （可选）选择对比周期，可查看当前日期或小时减去对比周期天数得到的历史统计数据。

   默认无对比，可选前30天、前7天以及前1天。例如2024-05-06 14:00前30天的对比数据就是2024-04-06 14:00的统计数据。

指标参数说明

• CU用量趋势（单位：Core*H）

  指标名称	说明
  CPU时（单位：Core*H）	所选过滤范围内，已完成作业消耗的CPU时数量。 1个小时消耗1个CPU Core，定义为1个CPU时。CPU时数量=CPU Core数量*时长。
  内存时（单位：GB*H）	在所选过滤范围内，已完成作业消耗的内存数量。 1个小时消耗1GB内存，定义为1个内存时。内存时数量=内存大小*时长。
  CPU时/内存时消耗TOP 10分析	提供在所选过滤范围内消耗CPU时/内存时最多的前10个作业，共计/平均消耗CPU时/内存时最多的前10个Signature、ExtNodeId。

• 作业运行时长（单位：秒）

  指标名称	说明
  平均值	在所选过滤范围内，已完成作业的平均作业时长。
  最大值	在所选过滤范围内，已完成作业的最长作业时长。
  最小值	在所选过滤范围内，已完成作业的最短作业时长。
  分位数	在所选过滤范围内，已完成作业的某分位数（包括1、5、10、50、90、95、99分位数）作业时长。 以99分位数为例，表示99%的作业在此时长内运行完毕。
  作业运行时长TOP 10分析	提供在所选过滤范围内总运行时长最长的前10个作业，共计/平均总运行时长最长的前10个Signature、ExtNodeld。

• 作业数趋势（单位：个）：在所选过滤范围内，已完成运行的作业数量。

• 作业扫描量趋势（单位：GB，自适应变化，以图表显示为准）：在所选过滤范围内已完成作业扫描的数据量。

• 单位CU时处理的作业扫描量趋势（单位：GB，自适应变化，以图表显示为准）：在所选过滤范围内平均1 CU时处理的作业扫描量。1 CU时包含1 CPU Core和4 GB内存，计算方法为MAX(CPU时, 向上取整(内存时/4))。

上述指标数据也支持您通过租户级别Information Schema自行统计，但需注意Information Schema task_history表中包含所有操作产生的任务实例，而控制台作业性能观测的指标仅统计消耗计算资源的作业，因此统计结果可能存在差异。

示例查询SQL如下：

SET odps.namespace.schema=TRUE;
SELECT to_char (end_time, 'yyyy-mm-dd hh'), -- 作业运行结束所在小时
       -- to_char (end_time, 'yyyy-mm-dd'), --若需要按天汇总，请使用此行替换上一行，表示作业运行结束时所在日期
       sum(cast(cost_cpu/100/3600 as DECIMAL(18,5) )) cost_cpuh, -- CPU时
       sum(cast(cost_mem/1024/3600 as DECIMAL(18,5) )) cost_memh, -- 内存时
       avg(datediff(end_time, start_time, 'ss')), -- 作业平均运行时长
       min(datediff(end_time, start_time, 'ss')), -- 作业最短运行时长
       max(datediff(end_time, start_time, 'ss'))  -- 作业最长运行时长
       -- status, --分组依据：status：作业状态；项目：task_catalog；作业类型：task_type。
FROM SYSTEM_CATALOG.INFORMATION_SCHEMA.tasks_history
WHERE ds>=to_char(date_add(getdate(),-7),'yyyymmdd')  -- 如需其他过滤条件可自行修改添加
and task_type in ('SQL','SQLRT','LOT','CUPID','ALgoTask')
GROUP BY to_char (end_time, 'yyyy-mm-dd hh')
         -- to_char (end_time, 'yyyy-mm-dd'), --若需要按天汇总，请使用此行替换上一行，表示作业运行结束时所在日期
         -- status, --分组依据：status：作业状态；项目：task_catalog；作业类型：task_type
order BY to_char (end_time, 'yyyy-mm-dd hh') ASC;
         -- to_char (end_time, 'yyyy-mm-dd'); --若需要按天汇总，请使用此行替换上一行，表示作业运行结束时所在日期

常见问题

• 问题一：

  • 问题现象：按项目或配额（Quota）分组后，图例中缺失部分项目或配额（Quota）。

  • 问题原因：缺失的项目或Quota中的作业数为0。

• 问题二：

  • 问题现象：选择对比周期后，对应对比时间的数据缺失。

  • 问题原因：可能是对比时间内项目或Quota未创建或已删除，也可能是该时间区间内项目或Quota中的作业数为0。