GPU监控2.0基于Exporter+Prometheus+Grafana体系打造更为丰富的GPU可观性场景，支持您基于容器服务开发的GPU Exporter监控指标构建Grafana大盘。本文介绍GPU监控2.0指标的详细信息。
指标说明
GPU监控2.0使用的GPU Exporter在兼容开源DCGM Exporter提供的监控指标的基础上，根据某些业务场景，增加了自定义指标。关于DCGM Exporter的更多信息，请参见DCGM Exporter。
计费说明
GPU监控使用自定义指标会引起额外的费用。
为避免产生额外的费用，建议在启用此功能前，仔细阅读阿里云Prometheus的计费概述，了解自定义指标的收费策略。费用将根据您的集群规模和应用数量等因素产生变动。您可以通过资源消耗统计功能，监控和管理您的资源使用情况。
DCGM支持的指标
利用率（Utilization）
指标名称 | 指标类型 | 单位 | 说明 |
DCGM_FI_DEV_GPU_UTIL | Gauge | % | 表示GPU利用率，即在一个周期时间内（1s或1/6s，根据GPU产品而定），一个或多个核函数处于Active的时间。 该指标仅能够展示有核函数在用的GPU资源，但无法展示具体的使用情况。 |
DCGM_FI_DEV_MEM_COPY_UTIL | Gauge | % | 表示内存带宽利用率。 以英伟达GPU V100为例，其最大内存带宽为900 GB/sec，如果当前的内存带宽为450 GB/sec，则内存带宽利用率为50%。 |
DCGM_FI_DEV_ENC_UTIL | Gauge | % | 表示编码器利用率。 |
DCGM_FI_DEV_DEC_UTIL | Gauge | % | 表示解码器利用率。 |
内存（Memory）
指标名称 | 指标类型 | 单位 | 说明 |
DCGM_FI_DEV_FB_FREE | Gauge | MiB | 表示帧缓存（Framebuffer Memory）剩余数。 说明 帧缓存一般也被称为显存。 |
DCGM_FI_DEV_FB_USED | Gauge | MiB | 表示帧缓存已使用数。 该值与nvidia-smi命令中Memory-Usage的已使用值对应。 |
剖析（Profiling）
指标名称 | 指标类型 | 单位 | 说明 |
DCGM_FI_PROF_GR_ENGINE_ACTIVE | Gauge | % | 表示在一个时间间隔内，Graphics或Compute引擎处于Active的时间占比。 该值表示所有Graphics和Compute引擎的平均值。 Graphics或Compute引擎处于Active是指Graphics或Compute Context绑定到线程，并且Graphics或Compute Context处于Busy状态。 |
DCGM_FI_PROF_SM_ACTIVE | Gauge | % | 表示在一个时间间隔内，至少一个线程束在一个SM（Streaming Multiprocessor）上处于Active的时间占比。 该值表示所有SM的平均值，且该值对每个块的线程数不敏感。 线程束处于Active是指一个线程束被调度且分配资源后的状态，可能是在Computing、也可能是非Computing状态（例如等待内存请求）。 该值小于0.5表示未高效利用GPU，大于0.8是必要的。 假设一个GPU有N个SM：
|
DCGM_FI_PROF_SM_OCCUPANCY | Gauge | % | 表示在一个时间间隔内，驻留在SM上的线程束与该SM最大可驻留线程束的比例。 该值表示一个时间间隔内的所有SM的平均值。 占用率越高不代表GPU使用率越高。只有在GPU内存带宽受限的工作负载（DCGM_FI_PROF_DRAM_ACTIVE）情况下，更高的占用率表示更有效的GPU使用率。 |
DCGM_FI_PROF_PIPE_TENSOR_ACTIVE | Gauge | % | 表示Tensor（HMMA/IMMA） Pipe处于Active状态的周期分数。 该值表示一个时间间隔内的平均值，而不是瞬时值。 较高的值表示Tensor Cores的利用率较高。 该值为1（100%）表示在整个时间间隔内每隔一个指令周期发出一个Tensor指令（两个周期完成一条指令）。 假设该值为0.2（20%），可能有如下情况：
|
DCGM_FI_PROF_PIPE_FP64_ACTIVE | Gauge | % | 表示FP64（双精度）Pipe处于Active状态的周期分数。 该值表示一个时间间隔内的平均值，而不是瞬时值。 较高的值代表FP64 Cores有较高的利用率。 该值为 1（100%）表示在整个时间间隔内上每四个周期（以Volta类型卡为例）执行一次FP64指令。 假设该值为0.2（20%），可能有如下情况：
|
DCGM_FI_PROF_PIPE_FP32_ACTIVE | Gauge | % | 表示乘加操作FMA（Fused Multiply-Add）管道处于Active的周期分数，乘加操作包括FP32（单精度）和整数。 该值表示一个时间间隔内的平均值，而不是瞬时值。 较高的值代表FP32 Cores有较高的利用率。 该值为1（100%）表示在整个时间间隔内上每两个周期（Volta类型卡为例）执行一次FP32指令。 假设该值为0.2（20%），可能有如下情况：
|
DCGM_FI_PROF_PIPE_FP16_ACTIVE | Gauge | % | 表示FP16（半精度）管道处于Active的周期分数。 该值表示一个时间间隔内的平均值，而不是瞬时值。 较高的值代表FP16 Cores有较高的利用率。 该值为 1 (100%) 表示在整个时间间隔内上每两个周期（Volta类型卡为例）执行一次FP16指令。 假设该值为0.2（20%），可能有如下情况：
|
DCGM_FI_PROF_DRAM_ACTIVE | Gauge | % | 表示内存带宽利用率（Memory BW Utilization）将数据发送到设备内存或从设备内存接收数据的周期分数。 该值表示时间间隔内的平均值，而不是瞬时值。 较高的值表示设备内存的利用率较高。 该值为1（100%）表示在整个时间间隔内的每个周期执行一条 DRAM 指令（实际上，峰值约为 0.8 (80%) 是可实现的最大值）。 假设该值为0.2（20%），表示20%的周期在时间间隔内读取或写入设备内存。 |
| Counter | B/s | 表示通过PCIe总线传输/接收的数据速率，包括协议标头和数据有效负载。 该值表示一个时间间隔内的平均值，而不是瞬时值。 该速率在时间间隔内平均。例如，在1秒内传输1 GB数据，则无论以恒定速率还是突发传输数据，速率都是1 GB/s。理论上的最大PCIe Gen3带宽为每通道985 MB/s。 |
| Counter | B/s | 表示通过NVLink传输/接收的数据速率，不包括协议标头。 该值表示一个时间间隔内的平均值，而不是瞬时值。 该速率在时间间隔内平均。例如，在1秒内传输1 GB数据，则无论以恒定速率还是突发传输数据，速率都是1 GB/s。理论上，最大NVLink Gen2带宽为每个方向每个链路25 GB/s。 |
频率（Clock）
指标名称 | 指标类型 | 单位 | 说明 |
DCGM_FI_DEV_SM_CLOCK | Gauge | MHz | 表示SM时钟频率。 |
DCGM_FI_DEV_MEM_CLOCK | Gauge | MHz | 表示内存时钟频率。 |
DCGM_FI_DEV_APP_SM_CLOCK | Gauge | MHz | 表示SM应用时钟频率。 |
DCGM_FI_DEV_APP_MEM_CLOCK | Gauge | MHz | 表示内存应用时钟频率。 |
DCGM_FI_DEV_CLOCK_THROTTLE_REASONS | Gauge | MHz | 表示时钟慢下来的原因。 |
XID错误&违规行为（XidError & Violations）
指标名称 | 指标类型 | 单位 | 说明 |
DCGM_FI_DEV_XID_ERRORS | Gauge | - | 表示一段时间内，最后发生的XID错误号。 |
DCGM_FI_DEV_POWER_VIOLATION | Counter | μs（微秒） | 表示因功率上限而导致的违规，该值为违规的时间。 |
DCGM_FI_DEV_THERMAL_VIOLATION | Counter | μs（微秒） | 表示由于热限制导致的违规，该值为违规的时间。 |
DCGM_FI_DEV_SYNC_BOOST_VIOLATION | Counter | μs（微秒） | 表示由于同步提升限制而导致的违规，该值为违规的时间。 |
DCGM_FI_DEV_BOARD_LIMIT_VIOLATION | Counter | μs（微秒） | 表示由于电路板限制而导致的违规，该值为违规的时间。 |
DCGM_FI_DEV_LOW_UTIL_VIOLATION | Counter | μs（微秒） | 表示低利用率限制导致的违规，该值为违规的时间。 |
DCGM_FI_DEV_RELIABILITY_VIOLATION | Counter | μs（微秒） | 表示电路板可靠性限制导致违规，该值为违规的时间。 |
BAR1
指标名称 | 指标类型 | 单位 | 说明 |
DCGM_FI_DEV_BAR1_USED | Gauge | MB | 表示已使用的BAR1。 |
DCGM_FI_DEV_BAR1_FREE | Gauge | MB | 表示剩余的BAR1。 |
温度&功率（Temperature & Power）
指标名称 | 指标类型 | 单位 | 说明 |
DCGM_FI_DEV_MEMORY_TEMP | Gauge | C | 表示内存温度。 |
DCGM_FI_DEV_GPU_TEMP | Gauge | C | 表示GPU温度。 |
DCGM_FI_DEV_POWER_USAGE | Gauge | W | 表示功率。 |
DCGM_FI_DEV_TOTAL_ENERGY_CONSUMPTION | Counter | J | 表示从驱动加载开始，已消耗的能量。 |
停用的内存页面（Retired Pages）
指标名称 | 指标类型 | 单位 | 说明 |
DCGM_FI_DEV_RETIRED_SBE | Gauge | - | 表示由单bit错误而停用的页面。 |
DCGM_FI_DEV_RETIRED_DBE | Gauge | - | 表示用双bit错误而停用的页面。 |
自定义指标
指标名称 | 指标类型 | 单位 | 说明 |
DCGM_CUSTOM_PROCESS_SM_UTIL | Gauge | % | 表示GPU线程的SM利用率。 |
DCGM_CUSTOM_PROCESS_MEM_COPY_UTIL | Gauge | % | 表示GPU线程的内存拷贝利用率。 |
DCGM_CUSTOM_PROCESS_ENCODE_UTIL | Gauge | % | 表示GPU线程的编码器利用率。 |
DCGM_CUSTOM_PROCESS_DECODE_UTIL | Gauge | % | 表示GPU线程的解码器利用率。 |
DCGM_CUSTOM_PROCESS_MEM_USED | Gauge | MiB | 表示GPU线程当前使用的显存。 |
DCGM_CUSTOM_CONTAINER_MEM_ALLOCATED | Gauge | MiB | 表示为容器分配显存。 |
DCGM_CUSTOM_CONTAINER_CP_ALLOCATED | Gauge | - | 表示为容器分配的一张GPU卡上部分算力占该GPU卡总算力的比例。值的区间为[0，1]。 独占GPU或者共享GPU只申请显存时，该指标的值为0，表示不限制算力。 假设GPU卡有100算力，为一个容器分配30算力，那么为该容器分配的算力比例为30/100=0.3。 |
DCGM_CUSTOM_DEV_FB_TOTAL | Gauge | MiB | 表示GPU卡的总显存。 |
DCGM_CUSTOM_DEV_FB_ALLOCATED | Gauge | - | 表示GPU卡已分配显存占总显存的比例，值的区间为[0，1]。 |
DCGM_CUSTOM_ALLOCATE_MODE | Gauge | - | 表示节点运行的模式，有如下几种：
|
将被弃用的指标
将被弃用的指标 | 替换的新指标 | 说明 |
nvidia_gpu_temperature_celsius | DCGM_FI_DEV_GPU_TEMP | |
nvidia_gpu_power_usage_milliwatts | DCGM_FI_DEV_POWER_USAGE | |
nvidia_gpu_sharing_memory | DCGM_CUSTOM_DEV_FB_ALLOCATED * DCGM_CUSTOM_DEV_FB_TOTAL | 每一张GPU设备显存被申请的比例 * 该设备显存的总量 = 该设备被申请的显存数 |
nvidia_gpu_memory_used_bytes | DCGM_FI_DEV_FB_USED | |
nvidia_gpu_memory_total_bytes | DCGM_CUSTOM_DEV_FB_TOTAL | |
nvidia_gpu_memory_allocated_bytes | DCGM_CUSTOM_DEV_FB_ALLOCATED * DCGM_CUSTOM_DEV_FB_TOTAL | 每一张GPU设备显存被申请的比例 * 该设备显存的总量 = 该设备被申请的显存数 |
nvidia_gpu_duty_cycle | DCGM_FI_DEV_GPU_UTIL | |
nvidia_gpu_allocated_num_devices | sum(DCGM_CUSTOM_DEV_FB_ALLOCATED) | sum(节点上每一张GPU设备显存被申请的比例) = 该节点上被申请的总卡数 |
nvidia_gpu_num_devices | DCGM_FI_DEV_COUNT |