Container Service for Kubernetes：cloud-controller-mananger組件監控指標及大盤使用說明

指標

類型

說明

ccm_slb_latency_ms

Histogram

CLB（Classical Load Balancer）同步時延。單位：ms。

Bucket閾值為{100, 200, 300, 400, 500, 600, 700, 800, 900, 1000,1500, 2000, 3000, 4000, 5000, 6000, 7000, 8000, 9000, 10000}。

ccm_node_latency_ms

Histogram

節點同步時延。單位：ms。

Bucket閾值為{100, 200, 300, 400, 500, 600, 700, 800, 900, 1000,1500, 2000, 3000, 4000, 5000, 6000, 7000, 8000, 9000, 10000}。

ccm_route_latency_ms

Histogram

路由同步時延。單位：ms。

Bucket閾值為{100, 200, 300, 400, 500, 600, 700, 800, 900, 1000,1500, 2000, 3000, 4000, 5000, 6000, 7000, 8000, 9000, 10000}。

workqueue_adds_total

Counter

Workqueue處理的新增事件（Adds）數量。

workqueue_depth

Gauge

Workqueue當前隊列深度。如果隊列深度長時間保持在較高水平，表明Controller不能及時處理隊列中的任務，導致任務堆積。

workqueue_queue_duration_seconds_bucket

Histogram

任務在Workqueue中存在的時間長度。Bucket閾值為{10^-8, 10^-7, 10^-6, 10^-5, 10^-4, 10^-3, 10^-2, 10^-1, 1, 10}。單位：秒。

memory_utilization_byte

Gauge

記憶體使用量量。單位：位元組（Byte）。

cpu_utilization_core

Gauge

CPU使用量。單位：核（Core）。

rest_client_requests_total

Counter

從狀態值（Status Code）、方法（Method）和主機（Host）維度分析HTTP請求次數。

rest_client_request_duration_seconds_bucket

Histogram

從方法（Verb）和URL維度分析HTTP請求時延。

大盤名稱

PromQL

說明

路由同步時延

histogram_quantile($quantile, sum(rate(ccm_route_latencies_duration_milliseconds_bucket[$interval])) by (verb, le))

路由同步時延。單位：ms。

節點同步時延

histogram_quantile($quantile, sum(rate(ccm_node_latencies_duration_milliseconds_bucket[$interval])) by (verb, le))

節點同步時延。單位：ms。

CLB（Classical Load Balancer）同步時延

histogram_quantile($quantile, sum(rate(ccm_slb_latencies_duration_milliseconds_bucket[$interval])) by (verb, le))

CLB同步時延。單位：ms。

大盤名稱

PromQL

說明

Workqueue入隊速率

sum(rate(workqueue_adds_total{job="ack-cloud-controller-manager"}[$interval])) by (name)

Workqueue在單位時間內新增事件（Adds）的數量。

Workqueue深度

workqueue_depth{job="ack-cloud-controller-manager"}

Workqueue深度在單位時間內的變化。

Workqueue處理時延

histogram_quantile($quantile, sum(rate(workqueue_queue_duration_seconds_bucket{job="ack-cloud-controller-manager"}[$interval])) by (name, le))

事件在Workqueue中存在的時間長度。

大盤名稱

PromQL

說明

記憶體使用量量

memory_utilization_byte{container="cloud-controller-manager"}

記憶體使用量量。單位：位元組。

CPU使用量

cpu_utilization_core{container="cloud-controller-manager"}*1000

CPU使用量。單位：毫核。

大盤名稱

PromQL

說明

Kube API 請求QPS

• sum(rate(rest_client_requests_total{job="ack-cloud-controller-manager",code=~"2.."}[$interval])) by (method,code)

• sum(rate(rest_client_requests_total{job="ack-cloud-controller-manager",code=~"3.."}[$interval])) by (method,code)

• sum(rate(rest_client_requests_total{job="ack-cloud-controller-manager",code=~"4.."}[$interval])) by (method,code)

• sum(rate(rest_client_requests_total{job="ack-cloud-controller-manager",code=~"5.."}[$interval])) by (method,code)

cloud-controller-manager對kube-apiserver發起的HTTP請求QPS，從方法（Verb）和請求URL維度分析。

正常情況

異常情況

異常說明

建議

CLB（Classical Load Balancer）同步時延在10s內。

CLB（Classical Load Balancer）同步時延大於10s。

CLB同步耗費時間過長。

查看Service中是否有例外狀況事件。

正常情況

異常情況

異常說明

建議

Workqueue深度在10以內。

Workqueue深度大於10。

Workqueue中存在較多待同步的Service。

隊列長度過長，會導致Service同步變慢。請適當減少叢集內節點、Pod以及Service的變更頻率。