Container Service for Kubernetes:kube-apiserverのモニタリング指標とダッシュボード

メトリック

PromQL

説明

API QPS

sum(irate(apiserver_request_total[$interval]))

kube-apiserverのQPS。

読み取りリクエスト成功率

sum(irate(apiserver_request_total{code=~ "20.*",verb=~ "GET | LIST"}[$interval]))/sum(irate(apiserver_request_total{verb=~ "GET | LIST"}[$interval])))

kube-apiserverに送信された読み取り要求の成功率。

書き込みリクエスト成功率

sum(irate(apiserver_request_total{code=~ "20.*",verb!~ "GET | LIST | WATCH | CONNECT"}[$interval]))/sum(irate(apiserver_request_total{verb!~ "GET | LIST | WATCH | CONNECT"}[$interval]))

kube-apiserverに送信された書き込み要求の成功率。

処理された読み取り要求の数

sum(apiserver_current_inflight_requests{requestKind="readOnly"})

kube-apiserverによって処理されている読み取り要求の数。

処理された書き込み要求の数

sum(apiserver_current_inflight_requests{requestKind="mutating"})

kube-apiserverによって処理されている書き込み要求の数。

リクエスト制限レート

sum(irate(apiserver_dropped_requests_total[$interval]))

kube-apiserverでリクエストスロットリングが実行されたときに、kube-apiserverに送信されたリクエストの総数に対するドロップされたリクエストの数の比率。

メトリック

PromQL

説明

GET読み取りリクエスト遅延P[0.9]

histogram_quantile($quantile, sum(irate(apiserver_request_duration_seconds_bucket{verb="GET",resource!="",subresource!="," log | proxy "}[$interval])) by (pod, verb, resource, subresource, scope, le))

APIサーバーポッド、GET動詞、リソース、スコープのディメンションに基づいて表示されるGETリクエストの応答時間。

リスト読み取りリクエスト遅延P[0.9]

histogram_quantile($quantile, sum(irate(apiserver_request_duration_seconds_bucket{verb="LIST"}[$interval]))) by (pod_name, verb, resource, scope, le)

LISTリクエストの応答時間は、APIサーバーポッド、LIST動詞、リソース、およびスコープのディメンションに基づいて表示されます。

書き込みリクエスト遅延P[0.9]

histogram_quantile($quantile, sum(irate(apiserver_request_duration_seconds_bucket{verb!~ "GET | WATCH | LIST | CONNECT"}[$interval])) by (cluster, pod_name, verb, resource, scope, le))

APIサーバーポッド、GET、WATCH、LIST、CONNECTなどの動詞、リソース、およびスコープのディメンションに基づいて表示される変更要求の応答時間。

処理された読み取り要求の数

apiserver_current_inflight_requests{request_kind="readOnly"}

kube-apiserverによって処理されている読み取り要求の数。

処理された書き込み要求の数

apiserver_current_inflight_requests{request_kind="mutating"}

kube-apiserverによって処理されている書き込み要求の数。

リクエスト制限レート

sum(irate(apiserver_dropped_requests_total{request_kind="readOnly"}[$interval])) by (name)

sum(irate(apiserver_dropped_requests_total{request_kind="mutating"}[$interval])) by (name)

kube-apiserverのスロットルレート。 No dataまたは0は、リクエストスロットリングがトリガーされないことを示します。

メトリック

PromQL

説明

メモリ使用量

memory_utilization_byte{container="kube-apiserver"}

kube-apiserverのメモリ使用量。 単位はバイトです。

CPU使用率

cpu_utilization_core{container="kube-apiserver"}* 1000

kube-apiserverのCPU使用率。 単位: ミリコア。

リソースオブジェクトの数

• max by(resource)(apiserver_storage_objects)

• max by (リソース)(etcd_object_counts)

• ACKクラスターがKubernetes 1.22以降を実行する場合、メトリック名はapiserver_storage_objectsです。

• ACKクラスターがKubernetes 1.22以前に実行されている場合、メトリック名はetcd_object_countsです。

メトリック

PromQL

説明

分析QPS [すべて] P[0.9] by動詞ディメンション

sum(irate(apiserver_request_total{verb=~ "$verb"}[$interval]))by(verb)

動詞に基づいて計算されたQPS。

QPS [すべて] P[0.9] を動詞リソースディメンションで分析

sum(irate(apiserver_request_total{verb=~ "$verb",resource=~ "$resource"}[$interval]))by(verb,resource)

動詞とリソースに基づいて計算されたQPS。

リクエストのレイテンシをVerbディメンションで分析する [すべて] P[0.9]

histogram_quantile($quantile, sum(irate(apiserver_request_duration_seconds_bucket{verb=~ "$verb", verb!~ "WATCH | CONNECT",resource!=""}[$interval])) by (le,verb))

動詞に基づいて計算された応答レイテンシ。

リクエスト遅延をVerbで分析リソースディメンション [すべて] P[0.9]

histogram_quantile($quantile, sum(irate(apiserver_request_duration_seconds_bucket{verb=~ "$verb", verb!~ "WATCH | CONNECT", resource=~ ""}[$interval])) by (le,verb,resource)

動詞とリソースに基づいて計算された応答レイテンシ。

読み取り要求QPS [5m] for non-2xx戻り値

sum(irate(apiserver_request_total{verb=~ "GET | LIST",resource=~ "$resource",code!~ "2.*"}[$interval])) by (verb,resource,code)

2xx以外のHTTPステータスコード (4xxや5xxなど) が返される読み取り要求のQPS。

QPS [5m] for write request with non-2xx return value

sum(irate(apiserver_request_total{verb!~ "GET | WATCH",verb=~ "$verb",resource=~ "$resource",code!~ "2.*"}[$interval])) by (verb,resource,code)

2xx以外のHTTPステータスコード (4xxや5xxなど) が返される書き込み要求のQPS。

Apiserverからetcdリクエストのレイテンシ [5m]

histogram_quantile($quantile, sum(irate(etcd_request_duration_seconds_bucket[$interval])) by (le,operation,type,instance))

kube-apiserverからetcdに送信されたリクエストのレイテンシ。

メトリック

PromQL

説明

入学コントローラー遅延 [承認]

histogram_quantile($quantile, sum by(operation, name, le, type, rejected) (irate(apiserver_admission_controller_admission_duration_seconds_bucket{type="admit"}[$interval]))) )

承認タイプの承認コントローラーの名前、実行された操作、操作が拒否されたかどうか、および操作の期間に関する統計。

ヒストグラムのバケットは、0.005、0.025、0.1、0.5、および2.5を含む。 単位は秒です。

入学コントローラーの遅延 [検証]

histogram_quantile($quantile, sum by(operation, name, le, type, rejected) (irate(apiserver_admission_controller_admission_duration_seconds_bucket{type="validate"}[$interval]))) )

検証タイプのアドミッションコントローラーの名前、実行された操作、操作が拒否されたかどうか、および操作の期間に関する統計。

ヒストグラムのバケットは、0.005、0.025、0.1、0.5、および2.5を含む。 単位は秒です。

入場Webhook delay [admit]

histogram_quantile($quantile, sum by(operation, name, le, type, rejected) (irate(apiserver_admission_webhook_admission_duration_seconds_bucket{type="admit"}[$interval]))) )

承認タイプの承認webhookの名前、実行された操作、操作が拒否されたかどうか、および操作の期間に関する統計。

ヒストグラムのバケットは、0.005、0.025、0.1、0.5、および2.5を含む。 単位は秒です。

入会Webhookの遅延 [検証]

histogram_quantile($quantile, sum by(operation, name, le, type, rejected) (irate(apiserver_admission_webhook_admission_duration_seconds_bucket{type="validating"}[$interval]))) )

検証タイプの承認webhookの名前、実行された操作、操作が拒否されたかどうか、および操作の期間に関する統計。

ヒストグラムのバケットは、0.005、0.025、0.1、0.5、および2.5を含む。 単位は秒です。

受け入れWebhookリクエストQPS

sum(irate(apiserver_admission_webhook_admission_duration_seconds_count[$interval]))by(name,operation,type,rejected)

入場ウェブフックのQPS。

メトリック

PromQL

説明

クライアントディメンションによるQPSの分析

sum(irate(apiserver_request_total{client!=""}[$interval])) by (client)

クライアントに基づくQPS統計。 これは、kube-apiserverとQPSにアクセスするクライアントの分析に役立ちます。

QPSを動詞リソースクライアントディメンションで分析 [すべて]

sum(irate(apiserver_request_total{client!="",verb=~ "$verb", resource=~ "$resource"}[$interval]))by(verb,resource,client)

動詞、リソース、およびクライアントに基づくQPS統計。

Verb Resource ClientディメンションによるLISTリクエストQPSの分析 (resourceVersionフィールドなし)

sum(irate(apiserver_request_no_resourceversion_list_total[$interval]))by(resource,client)

• 動詞、リソース、およびクライアントに基づくLISTリクエストのQPS。 このようなリクエストでは、resourceVersionパラメーターは指定されていません。

• kube-apiserverに送信されたLISTリクエストと、etcdからデータを取得するLISTリクエストに基づいて、クライアントが実行するLIST操作を分析および最適化できます。

通常

異常

説明

読み取り要求成功率と書き込み要求成功率の値は100% に近い。

読み取り要求成功率および書き込み要求成功率の値は小さい。 例えば、値は90% より小さい。

200以外のHTTPステータスコードが返されるリクエストが多数存在します。

通常

異常

説明

GETリードリクエスト遅延P[0.9] 、LISTリードリクエスト遅延P[0.9] 、およびライトリクエスト遅延P[0.9] の値は、クラスタ内でアクセスされるリソースの量とクラスタサイズに応じて異なります。 したがって、異常を識別するために特定の閾値を使用することはできない。 ワークロードに悪影響がなければ、すべてのケースが受け入れられます。 たとえば、特定のタイプのリソースにアクセスするために送信されるリクエストの数が増加すると、LISTリクエストのレイテンシが増加します。 ほとんどの場合、GET読み取り要求遅延P[0.9] および書き込み要求レイテンシ遅延P[0.9] の値は1秒より小さく、LIST読み取り要求遅延P[0.9] の値は5秒より大きい。

• GET読み取り要求遅延P[0.9] および書き込み要求待ち時間遅延P[0.9] の値は1秒より大きい。

• LIST読み取り要求遅延P[0.9] の値は5秒より大きい。

すぐに応答できない承認webhookまたはリソースにアクセスするクライアントから送信されたリクエストの増加により、応答遅延が増加するかどうかを確認します。

通常

異常

説明

ほとんどの場合、Number of read Request processedまたはNumber of write Request processedの値が100より小さく、Request Limit Rateの値が0であれば、異常は発生しません。

• [読み取り要求の処理数] および [書き込み要求の処理数] の値が100より大きい。

• リクエスト制限レートの値は0より大きい。

リクエストキューがいっぱいです。 問題が一時的なリクエストスパイクまたはすぐに応答できない承認webhookによって引き起こされているかどうかを確認します。 保留中のリクエストの数がキューの長さを超える場合、kube-apiserverはリクエストのスロットリングをトリガーし、リクエスト制限率の値は0を超えます。 その結果、クラスタの安定性が影響を受ける。

通常

異常

説明

Admission Webhook Delayの値が0.5秒未満です。

Admission Webhook Delayの値は0.5秒より大きいままです。

承認webhookがすぐに応答できない場合、kube-apiserverの応答レイテンシが増加します。