Container Service for Kubernetes:ACK Net Exporterを使用したネットワークの問題のトラブルシューティング

ACK Net Exporterのインストールと設定

ACK Net Exporterのインストール

1. ACKコンソールにログインします。 左側のナビゲーションウィンドウで、[Marketplace] > [Marketplace] を選択します。

2. On theマーケットプレイスページ、検索ack-net-exporterコンポーネントをクリックします。

3. ack-net-exporterコンポーネントページの右上隅で、右上隅の [デプロイ] をクリックします。 展開パネルが表示されます。

4. では、基本情報ステップを設定し、クラスターと名前空間パラメーターをクリックし、次へ.

5. [パラメーター] ステップで、次の表に記載されているパラメーターを設定し、[OK] をクリックします。

   パラメーター	説明	デフォルト値
   name	ACK Net Exporterコンポーネントの名前。	ack-net-exporter-default
   namespace	ACK Net Exporterが属する名前空間。	kube-system
   config.enableEventServer	イベントトレース機能を有効にするかどうかを指定します。 有効な値： false: イベントトレース機能を無効にします。 true: イベントトレース機能を有効にします。	false
   config.enableMetricServer	メトリック収集機能を有効にするかどうかを指定します。 有効な値： false: メトリック収集機能を無効にします。 true: メトリック収集機能を有効にします。	true
   config.remoteLokiAddress	イベントがプッシュされるGrafana Lokiサービスアドレス。	デフォルトでは、このパラメータは空のままです。
   config.metricLabelVerbose	メトリック冗長機能を有効にするかどうかを指定します。 有効な値： false: メトリック冗長機能を無効にします。 true: メトリック冗長機能を有効にします。 この機能を有効にすると、ポッドのIPアドレスとラベルがメトリックのラベル情報として保存されます。	false
   config.metricServerPort	HTTPサービスを提供するためにメトリックサービスによって使用されるポート。	9102
   config.eventServerPort	gRPCストリーミングサービスを提供するためにイベントサービスによって使用されるポート。	19102
   config.metricProbes	有効にするメトリックプローブ。 詳細については、このトピックの「ACK Net Exporterメトリクス」セクションをご参照ください。	デフォルトでは、このパラメーターは空のままで、必要なメトリックプローブのみが有効になります。
   config.eventProbes	有効にするイベントプローブ。 詳細については、このトピックのACK Net Exporterイベントセクションを参照してください。	デフォルトでは、このパラメーターは空のままで、必要なイベントプローブのみが有効になります。

ACK Net Exporterの設定

• 次のコマンドを実行して、ACK Net ExporterのConfigMapを変更できます。

  kubectl edit cm inspector-config -n kube-system

• または、ACKコンソールでACK Net Exporterを設定できます。

  1. ACK コンソールにログインします。 左側のナビゲーションウィンドウで、[クラスター] をクリックします。

  2. [クラスター] ページで、管理するクラスターの名前をクリックします。 左側のウィンドウで、[設定] > [設定] を選択します。

  3. ConfigMapページで、名前空間パラメーターをkube-systemに設定し、kubeskoop-configを検索し、[操作] 列の [編集] をクリックします。

  4. [編集] パネルでパラメーターを設定し、[OK] をクリックします。

     次の表に、ACK Net Exporterでサポートされているパラメーターを示します。

     パラメーター	説明	デフォルト値
     debugmode	デバッグモードを有効にするかどうかを指定します。 有効な値： false: デバッグモードを無効にします。 true: デバッグモードを有効にします。 このモードを有効にすると、デバッグレベルのログ、インターフェイスのデバッグ、Go pprof、およびgopsがサポートされます。	false
     event_config.loki_enable	Grafana Lokiにイベントをプッシュする機能を有効にするかどうかを指定します。 詳細については、このトピックの「Grafana Lokiを使用したイベントの収集と視覚化」をご参照ください。 有効な値： false: Grafana Lokiにイベントをプッシュする機能を無効にします。 true: Grafana Lokiにイベントをプッシュする機能を有効にします。	false
     event_config.loki_address	Grafana Lokiサービスアドレス。 デフォルトでは、指定された名前空間でgrafana-lokiという名前のサービスが自動的に検出されます。	デフォルトでは、このパラメータは空のままです。
     event_config.probes	有効にするイベントプローブ。 詳細については、このトピックのACK Net Exporterイベントセクションを参照してください。	デフォルトでは、このパラメーターは空のままで、必要なイベントプローブのみが有効になります。
     event_config.port	gRPCストリーミングサービスを提供するためにイベントサービスによって使用されるポート。	19102
     metric_config.verbose	メトリック冗長機能を有効にするかどうかを指定します。 有効な値： false: メトリック冗長機能を無効にします。 true: メトリック冗長機能を有効にします。 この機能を有効にすると、ポッドのIPアドレスとラベルがメトリックのラベル情報として保存されます。	false
     metric_config.port	HTTPサービスを提供するためにメトリックサービスによって使用されるポート。	9102
     metric_config.probes	有効にするメトリックプローブ。 詳細については、このトピックの「ACK Net Exporterメトリクス」セクションをご参照ください。	デフォルトでは、このパラメーターは空のままで、必要なメトリックプローブのみが有効になります。
     metric_config.interval	メトリックが収集される間隔。 メトリック収集はパフォーマンスを低下させます。 したがって、ACK Net Exporterは、定期的に収集されたメトリックをメモリにキャッシュします。	5

以前のACK Net Exporterバージョンでは、ACK Net Exporterの設定を変更した後、システムをトリガーしてすべてのACK Net Exporterコンテナを再作成する必要があります。 変更された設定は、コンテナーの再作成後に有効になります。 ACK Net Exporter 0.2.3以降のバージョンでは、ホットアップデートをサポートしているため、この操作を実行する必要はありません。

ACK Net Exporterの使用に関する注意事項

Alinux以外のオペレーティングシステムでACK Net Exporterを使用する

ACK Net Exporterのいくつかの重要な機能は、eBPFプログラムに依存して情報を収集します。 さまざまなオペレーティングシステムカーネルの要件を満たすために、ACK Net ExporterはCO-REを使用してeBPFプログラムを配布します。 ACK Net Exporterが起動すると、オペレーティングシステムのカーネルに関連付けられているBPFタイプフォーマット (BTF) ファイルをロードする必要があります。 BTFファイルは、カーネルデバッグ情報のメタデータを格納する。 対応するBTFファイルが読み込まれない場合、主要な機能は使用できなくなります。 それ以降のバージョンのほとんどのオペレーティングシステムには、BTFファイルが組み込まれています。 オペレーティングシステムの詳細については、「BPFタイプフォーマット (BTF) 」をご参照ください。

ACK Net Exporterでサポートされているメトリックとメトリック形式

inspector_pod_udprcvbuferrors{namespace="elastic-system",netns="ns402653****",node="iZbp179u0bgzhofjupc****",pod="elastic-operator-0"} 0 1654487977826

ACK Net Exporterでサポートされているイベントとイベント形式

ACK Net Exporterは、ノードで発生するネットワーク例外のイベントを収集できます。 このセクションでは、発生する可能性のあるネットワーク例外について説明します。 これらの例外は時折発生し、再現が困難です。 これらの例外をトラブルシューティングする効率的な方法はありません。

• データパケット損失による接続障害と要求タイムアウト。

• 時間のかかるデータ処理によるパフォーマンスの問題。

• TCPや接続追跡などのステートフル接続メカニズムの異常が原因で発生するビジネスの中断。

ACK Net Exporterは、オペレーティングシステムのカーネルにeBPFベースのコンテキスト可観測性を提供し、上記の問題のトラブルシューティングに役立ちます。 ACK Net Exporterは、例外が発生したときにオペレーティングシステムのステータスをリアルタイムでキャプチャし、イベントログを生成します。 ACK Net Exporterでサポートされているイベントとイベントプローブの詳細については、このトピックのACK Net Exporterイベントを参照してください。

type=TCPRESET_NOSOCK pod=storage-monitor-5775dfdc77-fj767 namespace=kube-system protocol=TCP saddr=100.103.42.233 sport=443 daddr=10.1.17.188 dport=33488

有効なオペレーティングシステムのカーネルスタッキング情報を必要とするイベントの場合、ACK Net Exporterは、次のイベントなど、これらのイベントが発生したときに、オペレーティングシステムのカーネルのスタッキングコンテキストをキャプチャします。

type=PACKETLOSS pod=hostNetwork namespace=hostNetwork protocol=TCP saddr=10.1.17.172 sport=6443 daddr=10.1.17.176 dport=43018  stacktrace:skb_release_data+0xA3 __kfree_skb+0xE tcp_recvmsg+0x61D inet_recvmsg+0x58 sock_read_iter+0x92 new_sync_read+0xE8 vfs_read+0x89 ksys_read+0x5A

ACK Net Exporterでは、複数の方法を使用してイベントを表示できます。 詳細については、このトピックの「ACK Net Exporterからモニタリングデータを収集する」を参照してください。

ACK Net Exporterからモニタリングデータを収集する

シナリオ1: モニタリングデータをPrometheusまたはGrafanaにエクスポートし、データを視覚化

# In the following example, only one endpoint is specified for data collection. 
scrape_configs:
# The job=<job_name> label is added to each time series that is collected based on the configuration. In this example, the job is named net-exporter_sample. 
- job_name: "net-exporter_sample"
static_configs:
  - targets: ["{kubernetes pod ip}:9102"]
                

apiVersion: v1
kind: ConfigMap
metadata:
  name: prometheus-server-conf
  labels:
    name: prometheus-server-conf
  namespace: kube-system
data:
  prometheus.yml: |-
          # Add the following configurations to the Prometheus server: 
      - job_name: 'net-exporter'
        kubernetes_sd_configs:
          - role: endpoints
        relabel_configs:
        - source_labels: [__meta_kubernetes_endpoints_name]
          regex: 'net-exporter'
          action: keep

      - job_name: 'kubernetes-pods'

        kubernetes_sd_configs:
        - role: pod

        relabel_configs:
        - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_scrape]
          action: keep
          regex: true
        - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_path]
          action: replace
          target_label: __metrics_path__
          regex: (.+)
        - source_labels: [__address__, __meta_kubernetes_pod_annotation_prometheus_io_port]
          action: replace
          regex: ([^:]+)(?::\d+)?;(\d+)
          replacement: $1:$2
          target_label: __address__
        - action: labelmap
          regex: __meta_kubernetes_pod_label_(.+)
        - source_labels: [__meta_kubernetes_namespace]
          action: replace
          target_label: kubernetes_namespace
        - source_labels: [__meta_kubernetes_pod_name]
          action: replace
          target_label: kubernetes_pod_name

設定を追加したら、Prometheusサーバーで [ステータス] > [ターゲット] を選択します。 PrometheusサーバーのTargetsページには、期待どおりに実行されるACK Net Exporterポッドが表示されます。 PrometheusサーバーのGraphページの検索ボックスにinspectorと入力して、ACK Net Exporterメトリクスを表示することもできます。

Grafanaを設定して、プロメテウスに収集されるモニタリングデータを視覚化できます。

1. Grafanaページの左側のナビゲーションウィンドウで、 > ダッシュボード.

2. On the新しいダッシュボードページをクリックします。新しいパネルを追加する.

3. [編集パネル] ページの下部で、[データソース] フィールドに [プロメテウス] と入力します。 次に、Prometheusサーバーのアドレスを入力します。

4. [Metric browser] をクリックし、inspectorと入力します。 次に、Grafanaは利用可能なすべてのACK Net Exporterメトリクスを表示します。 右上の [保存] をクリックします。 表示されるダイアログボックスで、[保存] をクリックします。 Grafanaは、次の図に示すように、視覚化されたデータを表示します。

   

5. 前の図に表示されている設定に基づいて、Grafanaダッシュボードでのメトリクスの表示方法を設定します。 たとえば、次の設定を使用して、inspector_pod_tcppassiveopenesメトリックの増分トレンドを表示できます。 このメトリックは、システムの起動後またはコンテナの作成後に、ネットワーク空間内でTCP接続を確立するためにクライアントから送信されたハンドシェイク要求によって作成されたソケットの総数を示します。 このメトリックの増分トレンドを表示するには、次の設定を使用します。

   // Use the rate() method provided by PromQL to calculate the increment trend of the metric. 
   rate(inspector_pod_tcppassiveopens[1m])
   
   // Use the labels provided by net-exporter to configure a legend to display the metric. 
   {{namespace}}/{{pod}}/{{node}}

シナリオ2: モニタリングデータをARMSにエクスポートし、データを視覚化

モニタリングデータをACK Net ExporterからApplication Real-Time monitoring Service (ARMS) にエクスポートし、データを可視化するには、次の手順を実行します。

1. 手順1: Prometheusのマネージドサービスの有効化.

2. カスタムACK Net Exporterメトリクスを設定します。

   1. にログインします。 ARMSコンソールを使用します。 左側のナビゲーションウィンドウで、[Prometheusのマネージドサービス] > [インスタンス] を選択します。

   2. にログインします。 ARMSコンソールを使用します。

   3. 上部のナビゲーションバーで、ACKクラスターがデプロイされているリージョンを選択します。

   4. 左側のナビゲーションウィンドウで、Prometheusのマネージドサービス > インスタンス.

   5. 管理するPrometheusインスタンスの名前をクリックして、[統合センター] ページに移動します。

   6. [インスタンス] ページで、管理するインスタンスを見つけ、インスタンスの名前をクリックします。 その後、インスタンスの詳細ページにリダイレクトされます。 ほとんどの場合、Prometheusインスタンスの名前はクラスターの名前と同じです。

   7. 左側のナビゲーションウィンドウで、[サービスの検出] をクリックし、[ターゲット] タブをクリックします。 [ターゲット] タブの下部で、[kubernetes-pods] をクリックします。 この情報は、カスタムACK Net Exporterメトリクスが設定されていることを示しています。

      kubernetes-podsが表示されていない場合は、[設定] タブをクリックし、[デフォルトのサービス検出] タブのスイッチをオンにする必要があります。

   8. 左側のナビゲーションウィンドウで、[ダッシュボード] をクリックします。 [ダッシュボード] ページで、ダッシュボードをクリックしてGrafanaにログインします。 [パネルの追加] をクリックして [グラフ] を選択し、[データソース] セクションでクラスターに関連するデータソースを有効にします。

   9. [Metric browser] をクリックし、inspectorと入力します。 その後、Grafanaは利用可能なすべてのACK Net Exporterメトリクスを自動的に表示します。 右上隅の [保存] をクリックします。 表示されるダイアログボックスで、[保存] をクリックします。 Grafanaは、次の図に示すように、視覚化されたデータを表示します。

シナリオ3: モニタリングデータをGrafana Lokiにエクスポートし、データを視覚化

ACK Net Exporterによって収集された異常イベントを、事前設定されたGrafana Lokiサービスにリアルタイムでプッシュできます。 これにより、これらのイベントを一元管理できます。 モニタリングデータをACK Net ExporterからGrafana Lokiにエクスポートするには、次の手順を実行します。

1. Grafana Lokiを設定する.

   説明

   ACK Net ExporterポッドがアクセスできるネットワークにGrafana Lokiをデプロイします。 ACK Net Exporterは、イベントログをGrafana Lokiに自動的にプッシュできます。

2. ACK Net Exporterの設定ページで、enableEventServerパラメーターをtrueに設定し、lokiServerAddressパラメーターをGrafana Lokiサービスのアドレスに設定します。 サービスアドレスとして、Grafana LokiサービスのIPアドレスまたはドメイン名を指定できます。

3. 次のコマンドを実行してサービスアドレスにアクセスし、Grafana Lokiが使用可能かどうかを確認します。

   curl http://[Address of Grafana Loki]:3100/ready

4. Grafana Lokiが利用可能な場合は、Grafana LokiをGrafanaデータソースとして追加します。

   Grafanaを開きます。 左側のナビゲーションウィンドウで、[データソース] > [Loki] を選択し、Grafana Lokiのアドレスを入力し、[保存とテスト] をクリックします。

5. 左側のナビゲーションウィンドウで、[探索] をクリックします。 上部のナビゲーションバーで、データソースをLokiに設定し、Grafana Lokiにプッシュされたイベントを表示します。

   [ラベルフィルター] ドロップダウンリストからノードを選択するか、[ラインコンテナー] フィールドにキーワードを入力して特定のイベントを検索することで、ノードのイベントを表示できます。

   上部のナビゲーションバーで [ダッシュボードに追加] をクリックして、設定済みのイベントパネルをダッシュボードに追加できます。

   ACK Net Exporterが提供するイベントの内容は、イベントの種類によって異なります。 イベントの詳細を確認して、関連するコンテンツを表示できます。

   Grafana LokiでサポートされているLogQLクエリ言語の詳細については、「LogQL: ログクエリ言語」をご参照ください。

シナリオ4: ACK Net Exporter CLIを使用してイベントを収集

ACK Net Exporter CLI (inspector-cli) は、ACK Net Exporterに基づいてACKチームによって開発されたシナリオ固有のトラブルシューティングおよび分析ツールです。 inspector-cliを使用して、カーネル例外イベントをリアルタイムで収集できます。 inspector-cliは、クラウドネイティブのシナリオで一般的な例外の原因をすばやく特定するのに役立ちます。

# Start a temporary container to run inspector-cli. You can replace the image with a later version to update inspector-cli. 
docker run -it --name=inspector-cli --network=host registry.cn-hangzhou.aliyuncs.com/acs/inspector:v0.0.1-12-gff0558c-aliyun

which inspector
# /bin/inspector is the working path of inspector-cli. You can directly run inspector-cli in the container.

# Set the -e parameter to the address of the event service of ACK Net Exporter. 
inspector watch -e 10.1.16.255

# Expected results: 
 INFO  TCP_RCV_RST_ESTAB Namespace=kube-system Pod=kube-proxy-worker-tbv5s Node=iZbp1jesgumdx66l8ym8j8Z Netns=4026531993 10.1.16.255:43186 -> 100.100.27.15:3128
...

ACK Net Exporterのインスペクタコンテナにログインして、問題のトラブルシューティングを行うこともできます。

# When you run the following command, set the -n parameter to the namespace of ACK Net Exporter and specify the ACK Net Exporter pod that you want to access. 
kubectl exec -it -n kube-system -c inspector net-exporter-2rvfh -- sh

# Run the following command to view the distribution of network entities on the current node. 
inspector list entity

# Run the following command to listen for network exception events and other relevant information in the local network. 
inspector watch -d -v
#{"time":"2023-02-03T09:01:03.402118044Z","level":"INFO","source":"/go/src/net-exporter/cmd/watch.go:63","msg":"TCPRESET_PROCESS","meta":"hostNetwork/hostNetwork node=izbp1dnsn1bwv9oyu2gaupz netns=ns0 ","event":"protocol=TCP saddr=10.1.17.113 sport=6443 daddr=10.1.17.113 dport=44226  state:TCP_OTHER "}

# You can also specify multiple ACK Net Exporter nodes to view the time when the event occurs on these nodes. 
inspector watch -s 10.1.17.113 -s 10.1.18.14 -d -v
            

ACK Net Exporterを使用して時折コンテナネットワークの問題をトラブルシューティングする

このセクションでは、クラウドネイティブシナリオで時折ネットワークの問題をトラブルシューティングする方法について説明します。 ACK Net Exporterは、これらの問題の修正に必要な情報をすばやく取得するのに役立ちます。

DNSタイムアウトの問題

クラウドネイティブ環境の多くのサービスは、CoreDNSが提供するDNS解決サービスに依存しています。 CoreDNSに関連付けられたDNSの問題が発生した場合は、CoreDNSポッドのメトリックを確認する必要があります。

Nginx Ingressの499、502、503、および504の問題

問題が発生した時点で前述のメトリックの変更を確認して、範囲を絞り込むことができます。 それでも原因を特定できない場合は、チケットを起票し、前述の情報をチケットに含めてテクニカルサポートをリクエストします。

TCPリセットの問題

時折のネットワーク待ち時間とジッタの問題

ケーススタディ

次のケースは、ACK Net Exporterを使用してコンテナネットワークの問題をトラブルシューティングする方法を示しています。

ケース1: 時折DNS解決タイムアウト

症状

顧客Aは、時折発生するDNS解決タイムアウトを処理するためのテクニカルサポートを要求するチケットを提出しました。 顧客AのアプリケーションはPHPで書かれています。 CoreDNSは、DNS解決を実行するように構成される。

トラブルシューティング

1. Customer Aの監視システムからDNSメトリックを取得します。

2. 報告されたタイムアウトの瞬間にメトリックを分析します。 分析により、次の問題が明らかになります。

   • DNS解決タイムアウトが発生するたびに、inspector_pod_udpnoportsの値が1ずつ増加します。 このメトリックの値は小さいです。

   • inspector_pod_packetlossメトリックで示される __udp4_lib_rcvパケットドロップの数が1増加します。 しかしながら、パケットドロップの数の変化はわずかである。

3. 顧客Aは、DNSサーバのIPアドレスがインターネットサービスプロバイダ (ISP) によって提供されるパブリックIPアドレスであることを指定する。 取得したメトリックに基づいて、クライアントに応答を送信するのに必要な時間が長いため、DNSタイムアウトが発生しました。 応答は、DNSクエリがユーザーモードでタイムアウトした後に受信されます。

ケース2: 時折Javaアプリケーションの接続障害

症状

顧客Bは、次の問題を解決するためにテクニカルサポートを要求するチケットを提出しました。Tomcatは時々利用できなくなり、問題は毎回5〜10秒続きます。

トラブルシューティング

1. ログ分析の結果は、問題が発生したときにJavaランタイムがガベージコレクション (GC) 操作を実行していたことを示しています。

2. Customer BはACK Net Exporterをデプロイし、モニタリングデータを分析しました。 顧客Bは、問題が発生した時点で、inspector_pod_tcpextlistendropsメトリックの値が大幅に増加していることを発見しました。

3. 分析結果は、JavaランタイムがGC操作を実行したときにリクエスト処理が遅くなったことを示しています。 ただし、新しい要求は抑制されません。 その結果、多数の接続が作成され、LISTENソケットのバックログがオーバーフローします。 これにより、inspector_pod_tcpextlistendropsメトリックの値が増加します。

4. TCP接続が積み重なるという問題は一時的なものであり、TCPの要求処理能力に起因するものではありません。 このシナリオでは、お客様Bが推奨するようにTomcatパラメーターを変更し、問題を解決しました。

ケース3: 時折のネットワークのジッター

症状

お客様Cは、次の問題を解決するためにテクニカルサポートをリクエストするチケットを提出しました。Redisインスタンスとアプリケーション間の往復時間が大幅に増加します。 その結果、タイムアウトエラーが発生します。 問題は再現できません。

トラブルシューティング

1. 顧客Cがログを分析した後、顧客CはRedisリクエストの応答時間が300ミリ秒を超えることがあることを特定しました。

2. Customer Cは、問題が発生した時点でinspector_node_virtsendcmdlatメトリックの値が増加したことも確認しました。 Prometheusサービスの影響を受けるモニタリングレベルは15と18です。 計算後、顧客Cは、長い応答時間を有する2つの仮想コールを識別した。 監視レベル15の通話の応答時間が36ミリ秒を超え、監視レベル18の通話の応答時間が200ミリ秒を超えています。

3. カーネルは、仮想呼び出しを処理するときにCPUを占有します。 この場合、CPUリソースを他の操作でプリエンプトすることはできません。 その結果、ポッドがバッチで追加または削除されると、仮想呼び出しの実行が遅くなり、応答時間がさらに長くなります。

ケース4: NGINX Ingressがヘルスチェックに合格しないことがあります

症状

お客様Dは、次の問題を解決するためにテクニカルサポートをリクエストするチケットを提出しました。NGINX Ingressがヘルスチェックに合格しないことがあります。 その結果、リクエスト失敗が発生します。

トラブルシューティング

1. Customer DがACK Net Exporterをデプロイした後、Customer Dは次のメトリックが異常であることを確認しました。

   1. の値は、inspector_pod_tcpsummarytcprxqueueとinspector_pod_tcpsummarytcptxqueueメトリクスが増加しました。

   2. の値は、inspector_pod_tcpexttcptimeoutsメトリックが増加しました。

   3. の値は、inspector_pod_tcpsummarytcptimewaitconnメトリックが減少し、inspector_pod_tcpsummarytcpestablishedconnメトリックが増加しました。

2. 分析結果は、問題が発生したときにカーネルが期待どおりに実行されたことを示しています。 接続は期待どおりに作成されます。 ただし、ユーザープロセスが受信ソケット内のパケットを処理し、パケットを送信したときに例外が発生しました。 このシナリオでは、ヘルスチェックの失敗は、スケジューリングまたはレート制限の問題によって引き起こされる可能性があります。

3. 顧客Dは、推奨通りにcgroupsのモニタリングデータをチェックし、ヘルスチェックの失敗が発生した時点でCPUスロットリングを特定しました。 この結果は、cgroupの問題により、ユーザープロセスがCPUリソースのスケジュールに失敗することがあることを示しています。

4. この問題を解決するには、CPU Burstを参照し、NGINX IngressのCPUバーストを設定します。

付録

ACK Net Exporterメトリクス

ACK Net Exporterでサポートされているメトリックは常に更新されます。 詳細については、ACKコンソールのMarketplaceページの手順を参照してください。 ポッドに関連しないnet_softirqとvirtcmdlatを除いて、すべてのメトリックとイベントはポッド固有の情報を提供します。

ACK Net Exporterイベント

次の表に、最新のACK Net Exporterバージョンを使用してキャプチャできるオペレーティングシステムのネットワーク関連イベントを示します。

推奨Grafana設定ファイル

• 8.4.0以降のGrafanaバージョンを使用する場合は、[ACK Net Exporter-0.2.9.json] をクリックしてGrafana設定ファイルをダウンロードします。

• Grafana 8.4.0以前を使用している場合は、[ACK Net Exporter-legacy.json] をクリックしてGrafana構成ファイルをダウンロードします。