使用Prometheus配置报警规则的最佳实践

详细描述

重要级别

PromQL配置

规则说明

常见处理SOP流程

Pod状态异常

Critical

min_over_time(sum by (namespace, pod, phase) (kube_pod_status_phase{phase=~"Pending|Unknown|Failed"})[5m:1m]) > 0

最近5分钟内，Pod的状态有异常时，触发报警。

在操作入口，单击集群容器副本异常报警规则集，设置Pod状态异常报警规则。更多信息，请参见容器服务报警管理。

关于Pod状态异常的处理方法，请参见Pod异常问题排查。

Pod启动失败

Critical

sum_over_time(increase(kube_pod_container_status_restarts_total{}[1m])[5m:1m]) > 3

最近5分钟内，Pod启动异常累计3次以上时，触发报警。

在操作入口，单击集群容器副本异常报警规则集，设置Pod启动失败的报警规则。更多信息，请参见容器服务报警管理。

关于Pod启动失败的处理方法，请参见Pod异常问题排查。

超1000个Pod调度失败异常

Critical

sum(sum(max_over_time(kube_pod_status_phase{ phase=~"Pending"}[5m])) by (pod)) > 1000

最近5分钟内，累计有1000个Pod处于调度失败Pending状态时，触发报警。

可能是大规模集群调度场景下任务压力过大引起的。ACK托管集群Pro版增强了集群调度等核心能力，并提供SLA保障。推荐您使用ACK托管集群Pro版，请参见ACK托管集群Pro版概述。

容器CPU限流频繁

Warning

rate(container_cpu_cfs_throttled_seconds_total[3m]) * 100 > 25

容器CPU被频繁限流。最近3分钟内，被限流的CPU时间片大于25%时，触发报警。

CPU时间片限流（CPU Throttling）会减少容器内进程获得的CPU时间片，影响容器内进程运行时长，有可能导致容器进程的业务行为变慢。

针对这种情况，请评估Pod的CPU的资源Limit是否配置过小。推荐使用CPU Burst性能优化策略，优化CPU限流现象，请参见启用CPU Burst性能优化策略。如果您的集群节点使用多核机型的服务器，推荐使用CPU拓扑感知调度，以最大化地利用碎片化CPU，请参见启用CPU拓扑感知调度。

容器副本Pod的CPU资源水位高于85%

Warning

sum(irate(container_cpu_usage_seconds_total{pod=~"{{PodName}}.*",namespace=~"{{Namespace}}.*",container!="",container!="POD"}[1m])) by (namespace,pod) / sum(container_spec_cpu_quota{pod=~"{{PodName}}.*",namespace=~"{{Namespace}}.*",container!="",container!="POD"}/100000) by (namespace,pod) * 100 <= 100 or on() vector(0) >= 85

在指定命名空间或Pod下，容器副本Pod的CPU资源水位超过Pod Limit的85%时，会触发报警。

若此Pod未配置Limit，值为0。

85%的默认阈值为推荐的参考值，实际取值可以以您的业务情况为准。

如需筛选指定Pod、命名空间的数据，请替换pod=~"{{PodName}}.*",namespace=~"{{Namespace}}.*"为实际取值。如需查询集群中所有Pod的相关数据，请删除此筛选条件。

当Pod的CPU资源水位较高时，会造成CPU资源限流，导致CPU时间片分配不足，最终影响Pod中进程的执行。

针对这种情况，请评估Pod的CPUresource limit是否配置过小。推荐使用CPU Burst性能优化策略，优化CPU限流现象，请参见启用CPU Burst性能优化策略。如果您的集群节点使用多核机型的服务器，推荐使用CPU拓扑感知调度，以最大化地利用碎片化CPU，请参见启用CPU拓扑感知调度。

容器副本Pod的内存资源水位高于85%

Warning

(sum(container_memory_working_set_bytes{pod=~"{{PodName}}.*",namespace=~"{{Namespace}}.*",container !="",container!="POD"}) by (pod,namespace)/ sum(container_spec_memory_limit_bytes{pod=~"{{PodName}}.*",namespace=~"{{Namespace}}.*",container !="",container!="POD"}) by (pod, namespace) * 100) <= 100 or on() vector(0) >= 85

容器副本Pod的内存资源水位高于Pod Limit的85%时，触发报警。

若未配置此Pod的Limit，值为0。

85%的默认阈值为推荐的参考值，实际取值可以以您的业务情况为准。

如需筛选指定Pod、命名空间的数据，请替换pod=~"{{PodName}}.*",namespace=~"{{Namespace}}.*"为实际取值。如需查询集群中所有Pod的相关数据，请删除此筛选条件。

当Pod的内存资源水位较高时，会造成Pod被OOMKilled，继而导致Pod重启。

针对这种情况，您需要确定Pod的内存resource limit是否配置过小。推荐使用资源画像功能配置Pod的内存Limit，请参见资源画像。

详细描述

重要级别

PromQL配置

规则说明

常见处理SOP流程

Deployment可用副本状态异常

Critical

kube_deployment_spec_replicas{} != kube_deployment_status_replicas_available{}

Deployment可用副本数未达到预期时，触发报警。

在操作入口，单击集群应用工作负载报警规则集，设置Deployment可用副本状态异常报警规则。更多信息，请参见容器服务报警管理。

确定是否有Deployment的Pod启动失败。

• 若有Pod启动或者状态异常，您需要排查Pod异常问题。具体操作，请参见Pod异常问题排查。

• 若没有Pod启动或者状态异常，请提交工单，提供集群ID并向技术支持人员描述情况。

DaemonSet副本状态异常

Critical

((100 - kube_daemonset_status_number_ready{} / kube_daemonset_status_desired_number_scheduled{} * 100) or (kube_daemonset_status_desired_number_scheduled{} - kube_daemonset_status_current_number_scheduled{})) > 0

DaemonSet的可用副本数未达到预期时，触发报警。

在操作入口，单击集群应用工作负载报警规则集，设置Deployment可用副本状态异常报警规则。更多信息，请参见容器服务报警管理。

确定是否有DaemonSet的Pod启动失败。

• 若有Pod启动或者状态异常，您需要排查Pod异常问题。具体操作，请参见Pod异常问题排查。

• 若没有Pod启动或者状态异常，请提交工单，提供集群ID并向技术支持人员描述情况。

DaemonSet副本调度异常

Critical

kube_daemonset_status_number_misscheduled{job} > 0

DaemonSet的副本调度异常时，触发报警。

在操作入口，单击集群应用工作负载报警规则集，设置Daemonset副本调度异常报警规则。更多信息，请参见容器服务报警管理。

确定是否有DaemonSet的Pod启动失败。

• 若有Pod启动或者状态异常，您需要排查Pod异常问题。具体操作，请参见Pod异常问题排查。

• 若没有Pod启动或者状态异常，您需要提交工单，提供集群ID并向技术支持人员描述情况。

Job运行失败

Critical

kube_job_status_failed{} > 0

Job执行失败时，触发报警。

在操作入口，单击集群应用工作负载报警规则集，设置Job运行失败报警规则。更多信息，请参见容器服务报警管理。

在对应Job下的Pod的日志中查看详细失败信息。

• 若有Pod启动或者状态异常，您需要排查Pod异常问题。具体操作，请参见Pod异常问题排查。

• 若没有Pod启动或者状态异常，您需要提交工单，提供集群ID并向技术支持人员描述情况。

详细描述

重要级别

PromQL配置

规则说明

常见处理SOP流程

PersistentVolume状态异常

Critical

kube_persistentvolume_status_phase{phase=~"Failed|Pending"} > 0

存储卷PV状态异常时，触发报警。

在操作入口，单击集群存储异常事件报警规则集，设置PersistentVolume状态异常报警规则。更多信息，请参见容器服务报警管理。

关于PersistentVolume状态异常的处理方法，请参见云盘存储卷FAQ的云盘挂载内容。

节点磁盘空间不足10%

Critical

((node_filesystem_avail_bytes * 100) / node_filesystem_size_bytes) < 10

节点某磁盘块设备可用空间不足10%时，触发报警。

在操作入口，单击集群资源异常报警规则集，设置集群节点 - 磁盘使用率 >=85%报警规则。更多信息，请参见容器服务报警管理。

建议扩容节点和节点磁盘。更多信息，请参见云盘存储卷FAQ的云盘挂载内容。

详细描述

重要级别

PromQL配置

规则说明

常见处理SOP流程

节点NotReady状态持续3分钟

Critical

(sum(max_over_time(kube_node_status_condition{condition="Ready",status="true"}[3m]) <= 0) by (node)) or (absent(kube_node_status_condition{condition="Ready",status="true"})) > 0

集群节点NotReady状态持续3分钟时，触发报警。

在操作入口，单击集群节点异常报警规则集，设置集群节点下线报警规则。更多信息，请参见容器服务报警管理。

• 确定节点NotReady状态是否符合预期，例如正在置换节点、下线节点、或手动将此节点置为不可用状态等情况可以除外。

  若不符合预期，请尽快评估此节点上的业务Pod是否受到影响，必要时请进行Pod驱逐。

• 节点不可用可由多种原因导致，您可以通过检查节点的Condition来判断是否有常见异常，例如内存压力过大、磁盘空间满等。

详细描述

重要级别

PromQL配置

规则说明

常见处理SOP流程

宿主机内存水位高于85%

Warning

(100 - node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes * 100) >= 85

该集群的宿主机内存水位高于85%时，触发报警。

在操作入口，单击集群资源异常报警规则集，设置集群节点 - 内存使用率 >= 85%报警规则。更多信息，请参见容器服务报警管理。

85%的默认阈值为推荐的参考值，实际取值可以以您的业务情况为准。

• 释放资源。

  推荐使用成本洞察功能检查是否有Pod占用了可调度资源，集群中Pod内存Request是否合理。更多信息，请参见启用成本洞察功能。推荐使用资源画像功能配置Pod的Memory Request。更多信息，请参见资源画像。

• 规划容量，扩容节点。具体操作，请参见扩缩容ACK集群的节点。

宿主机内存水位高于90%

Critical

(100 - node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes * 100) >= 90

该集群的宿主机内存水位高于90%。

• 释放资源。

  推荐使用成本洞察功能检查是否有Pod占用了可调度资源，集群中Pod的内存Request是否合理。更多信息，请参见启用成本洞察功能。推荐使用资源画像功能配置Pod的Memory Request。更多信息，请参见资源画像。

• 规划容量，扩容节点。具体操作，请参见扩缩容ACK集群的节点。

宿主机CPU水位高于85%

Warning

100 - (avg by(instance) (rate(node_cpu_seconds_total{mode="idle"}[2m])) * 100) >= 85

该集群的宿主机CPU水位高于85%时，触发报警，

在操作入口，单击集群资源异常报警规则集，设置集群节点 - CPU使用率 >= 85%报警规则。

85%的默认阈值为推荐的参考值，实际取值可以以您的业务情况为准。

更多信息，请参见容器服务报警管理。

• 释放资源。

  推荐使用成本洞察功能检查是否有Pod占用了可调度资源，集群中Pod CPU需求量是否合理。更多信息，请参见启用成本洞察功能。推荐使用资源画像功能配置Pod CPU Request。更多信息，请参见资源画像。

• 规划容量，扩容节点。具体操作，请参见扩缩容ACK集群的节点。

宿主机CPU水位高于90%

Critical

100 - (avg by(instance) (rate(node_cpu_seconds_total{mode="idle"}[2m])) * 100) >= 90

该集群的宿主机CPU水位高于90%时，触发报警。

• 释放资源。推荐使用成本洞察功能检查是否有Pod占用了可调度资源，以及集群中Pod的CPU Request是否合理，请参见启用成本洞察功能。推荐使用资源画像功能配置Pod的CPU Request，请参见资源画像。

• 规划容量，扩容节点。具体操作，请参见扩缩容ACK集群的节点。

详细描述

重要级别

PromQL配置

规则说明

常见处理SOP流程

节点CPU使用水位高于85%

Warning

sum(irate(container_cpu_usage_seconds_total{pod!=""}[1m])) by (node) / sum(kube_node_status_allocatable{resource="cpu"}) by (node) * 100 >= 85

该集群节点的CPU水位高于85%时，触发报警。

计算公式为

节点已使用资源Usage / 节点总可分配资源Allocatable。

• 释放资源。

  推荐使用成本洞察功能检查是否有Pod占用了可调度资源，以及集群中Pod的CPU Request是否合理，请参见启用成本洞察功能。推荐使用资源画像功能配置Pod的CPU Request，以分散Pod，使其调度到不同节点，使各节点资源的可使用量保持平衡。更多信息，请参见资源画像。

• 规划容量，扩容节点。具体操作，请参见扩缩容ACK集群的节点。

节点CPU资源分配率高于85%

Normal

(sum(sum(kube_pod_container_resource_requests{resource="cpu"}) by (pod, node) * on (pod) group_left max(kube_pod_status_ready) by (pod, node)) by (node)) / sum(kube_node_status_allocatable{resource="cpu"}) by (node) * 100 >= 85

该集群节点的CPU已分配水位高于85%时，触发报警。

计算公式为节点上已调度的Pod的可分配资源Request的总和 / 节点总可分配资源1Allocatable。

• 该节点可再被调度的资源不足，超过可分配规格的Pod需要被调度到其他节点。

• 检查该节点上的Pod资源是否存在浪费，导致日常实际资源使用Usage远小于分配资源Request。推荐使用成本洞察功能检查是否有Pod占用了可调度资源，以及集群中Pod的内存Request是否合理，请参见启用成本洞察功能。推荐使用资源画像功能配置Pod的CPU Request，请参见资源画像。

• 规划容量，扩容节点。具体操作，请参见扩缩容ACK集群的节点。

节点CPU超卖率高于300%

Warning

(sum(sum(kube_pod_container_resource_limits{resource="cpu"}) by (pod, node) * on (pod) group_left max(kube_pod_status_ready) by (pod, node)) by (node)) / sum(kube_node_status_allocatable{resource="cpu"}) by (node) * 100 >= 300

该集群节点的CPU超卖水位高于300%时，触发报警。

计算公式为节点上已调度的Pod的资源限制Limit的总和 / 节点总可分配资源Allocatable。

300%的默认阈值为推荐的参考值，实际取值可以以您的业务情况为准。

• 节点上已调度的Pod的资源Limit的总和远大于节点总可分配资源。当出现业务波峰时，资源使用量飙升会造成CPU时间片分配不足，从而产生抢占和限流，造成进程响应速度变慢等影响。

• 建议配置更合理的Pod资源Limit，推荐使用成本洞察功能检查是否有Pod占用了可调度资源，以及集群中Pod内存需求量是否合理，请参见启用成本洞察功能。推荐使用资源画像功能配置Pod的CPU Request和Limit。更多信息，请参见资源画像。

• 规划容量，扩容节点。具体操作，请参见扩缩容ACK集群的节点。

节点内存使用水位高于85%

Warning

sum(container_memory_working_set_bytes{pod!=""}) by (node) / sum(kube_node_status_allocatable{resource="memory"}) by (node) * 100 >= 85

该集群节点的内存水位高于85%时，触发报警。

计算公式为

节点已使用资源Usage / 节点总可分配资源Allocatable。

• 释放资源。

  推荐使用成本洞察功能检查是否有Pod占用了可调度资源，以及集群中Pod内存Request是否合理，请参见启用成本洞察功能。推荐使用资源画像功能配置Pod的内存 Request，以分散Pod，使其调度到不同节点，维持各节点资源可使用量保持平衡。更多信息，请参见资源画像。

• 规划容量，扩容节点。具体操作，请参见扩缩容ACK集群的节点。

节点内存资源分配率高于85%

Normal

(sum(sum(kube_pod_container_resource_requests{resource="memory"}) by (pod, node) * on (pod) group_left max(kube_pod_status_ready) by (pod, node)) by (node)) / sum(kube_node_status_allocatable{resource="memory"}) by (node) * 100 >= 85

该集群节点的内存已分配水位高于85%时，触发报警。

计算公式为节点上已调度的Pod的可分配资源Request的总和 / 节点总可分配资源Allocatable。

• 该节点可再被调度的资源不足，超过可分配规格的Pod需要被调度到其他节点。

• 检查该节点上的Pod资源是否存在浪费，导致日常实际资源使用Usage远小于分配资源Request。推荐使用成本洞察功能检查是否有Pod占用了可调度资源，以及集群中Pod内存Request是否合理，请参见启用成本洞察功能。推荐使用资源画像功能配置Pod的内存 Request，请参见资源画像。

• 规划容量，扩容节点。具体操作，请参见扩缩容ACK集群的节点。

节点内存超卖率高于300%

Warning

(sum(sum(kube_pod_container_resource_limits{resource="memory"}) by (pod, node) * on (pod) group_left max(kube_pod_status_ready) by (pod, node)) by (node)) / sum(kube_node_status_allocatable{resource="memory"}) by (node) * 100 >= 300

该集群节点的内存超卖水位高于300%时，触发报警。

计算公式为节点上已调度的Pod的资源限制Limit的总和 / 节点总可分配资源Allocatable。

300%的默认阈值为推荐的参考值，实际取值可以以您的业务情况为准。

• 节点上已调度的Pod的资源限制Limit的总和远大于节点总可分配资源。当出现业务波峰时，资源使用量飙升会造成内存达到节点限制，导致节点OOM，从而可能造成进程被OOMKilled，影响业务正常运行。

• 配置更合理的Pod资源Limit。推荐使用成本洞察功能检查是否有Pod占用了可调度资源，以及集群中Pod内存需求量是否合理，请参见启用成本洞察功能。推荐使用资源画像功能配置Pod的内存Request和Limit，请参见资源画像。

• 规划容量，扩容节点。具体操作，请参见扩缩容ACK集群的节点。

详细描述

重要级别

PromQL配置

规则说明

常见处理SOP流程

集群CoreDNS可用性异常-请求跌零

Critical

(sum(rate(coredns_dns_request_count_total{}[1m]))by(server,zone)<=0) or (sum(rate(coredns_dns_requests_total{}[1m]))by(server,zone)<=0)

仅ACK托管集群（Pro版、基础版）支持检测该异常。

检查集群中CoreDNS Pod是否正常。

集群CoreDNS可用性异常-panic异常

Critical

sum(rate(coredns_panic_count_total{}[3m])) > 0

仅ACK托管集群（Pro版、基础版）支持检测该异常。

检查集群中CoreDNS Pod是否正常。若CoreDNS行为不符合预期，请提交工单咨询。

集群IngressController证书即将过期

Warning

((nginx_ingress_controller_ssl_expire_time_seconds - time()) / 24 / 3600) < 14

您需要安装部署ACK Ingress Controller组件，并开启Ingress功能。

重新签发Ingress Controller证书。

详细描述

重要级别

PromQL配置

规则说明

常见处理SOP流程

HPA当前副本数已达最大副本设置数

Warning

max(kube_horizontalpodautoscaler_spec_max_replicas) by (namespace, horizontalpodautoscaler) - max(kube_horizontalpodautoscaler_status_current_replicas) by (namespace, horizontalpodautoscaler) <= 0

您需要在阿里云Prometheus启用horizontalpodautoscaler相关指标（默认关闭）。此指标为免费指标。

请检查HPA策略是否符合预期。