Container Service for Kubernetes:Pod 診断

カテゴリ

シナリオ

Pod 診断

Pod がスケジューラによって処理されていません。

Pod はスケジューリングの制約の要件を満たしていないため、スケジュールできません。

Pod はスケジュールされていますが、kubelet によって処理されていません。

Pod はボリュームが Ready 状態になるのを待機しています。

Pod が削除されました。

ディスク容量不足のため、Pod が削除されました。

ノードのメモリ容量不足のため、Pod が削除されました。

ディスクインデックス不足のため、Pod が削除されました。

Pod のサンドボックスコンテナーの作成に失敗しました。

Pod が Terminating 状態のままです。

Pod のコンテナーでメモリ不足 (OOM) エラーが発生しました。

Pod のコンテナーが異常に終了しました。

Pod のコンテナーが CrashLoopBackOff 状態のままです。

Pod のコンテナーの準備ができていません。

Pod がコンテナーイメージをプルできませんでした。

Pod がコンテナーイメージをプルするときにタイムアウトエラーが発生しました。

AI 支援診断

Pod のステータスが異常です。

Pod で OOM エラーが発生しました。

Pod のコンテナーが異常に終了しました。

Pod の ConfigMap または Secret の構成が無効です。

Pod がヘルスチェックに合格できませんでした。

Pod の永続ボリューム要求 (PVC) の構成が無効です。

Pod がコンテナーイメージをプルするときにエラーが発生しました。

カテゴリ

説明

Pod

Pod ステータス、イメージのプル、ネットワーク接続など、一般的な Pod の問題を診断します。

ノード

ノードステータス、ネットワークステータス、カーネルログ、カーネルプロセス、サービスの可用性など、一般的なノードの問題を診断します。

NodeComponent

ネットワークコンポーネントやボリュームコンポーネントなど、主要なノードコンポーネントのステータスを診断します。

ClusterComponent

API サーバーと DNS サービスの可用性、NAT ゲートウェイのステータスなど、一般的なクラスタの問題を診断します。

ECSControllerManager

ECS インスタンスのステータス、ネットワーク接続、オペレーティングシステム、ディスク I/O など、一般的な ECS インスタンスの問題を診断します。

診断項目

説明

解決策

コンテナーの再起動回数

Pod 内のコンテナーが再起動した回数を示します。

Pod のステータスとログを確認します。詳細については、「Pod のトラブルシューティング」をご参照ください。

コンテナーイメージのダウンロード失敗

現在の Pod のノードにある他の Pod がコンテナーイメージのダウンロードに失敗しているかどうかを確認します。

Pod がコンテナーイメージをプルするために使用する Secret の有効性

Pod がコンテナーイメージをプルするために使用する Secret の有効性を確認します。

Pod と CoreDNS Pod 間の接続

Pod と CoreDNS Pod 間の接続を確認します。

Pod と CoreDNS Pod 間の接続を確認します。

Pod と CoreDNS サービス間の接続

Pod と CoreDNS サービス間の接続を確認します。

Pod とホストネットワークの DNS サーバー間の接続

Pod とホストネットワークの DNS サーバー間の接続を確認します。

Pod とホストネットワークの DNS サーバー間の接続を確認します。

Pod 内のコンテナー D プロセスのステータス

Pod 内のコンテナープロセスが D 状態にあるかどうかを確認します。

ほとんどの場合、コンテナープロセスが D 状態にある場合、コンテナープロセスはディスク I/O を待機しています。対応する ECS インスタンスを再起動して、この問題を解決します。問題が解決しない場合は、 チケットを送信してください。

Pod の初期化

Pod が初期化されているかどうかを確認します。

Pod のステータスとログを確認します。詳細については、「Pod のトラブルシューティング」をご参照ください。

Pod のスケジューリング

Pod がスケジュールされているかどうかを確認します。

Pod のステータスとログを確認します。詳細については、「Pod のトラブルシューティング」をご参照ください。

診断項目

説明

解決策

Kubernetes API サーバーへの接続エラー

ノードがクラスターの Kubernetes API サーバーに接続できるかどうかを確認します。

クラスターの構成を確認します。詳細については、「ACK クラスターのトラブルシューティング」をご参照ください。

AUFS マウントのハング

AUFS マウントのハングが発生するかどうかを確認します。

チケットを送信する。

BufferIOError エラー

ノード カーネルで BufferIOError エラーが発生するかどうかを確認します。

チケットを送信する。

Cgroup リーク

ノードで cgroup リークが発生するかどうかを確認します。

Cgroup リークは、モニタリング データ収集を中断し、コンテナーの起動エラーにつながる可能性があります。ノードにログオンし、cgroup ディレクトリを削除します。

chronyd プロセスのステータス異常

ノード上の chronyd プロセスが異常な状態にあるかどうかを確認します。ノード上の chronyd プロセスが異常な状態にある場合、システムクロックの同期に影響する可能性があります。

ノード上の chronyd プロセスが異常な状態にある場合、システムクロックの同期に影響する可能性があります。systemctl restart chronyd コマンドを実行して、chronyd プロセスを再起動します。

containerd によるイメージのプル

containerd ランタイムが想定どおりにイメージをプルできるかどうかを確認します。

ノードネットワークとイメージの構成を確認します。

Containerd ステータス

containerd ランタイムのステータスを確認します。

チケットを送信する。

CoreDNS ポッドの可用性

ノードが CoreDNS ポッドの IP アドレスにアクセスできるかどうかを確認します。

ノードが CoreDNS ポッドの IP アドレスにアクセスできるかどうかを確認します。詳細については、「CoreDNS ポッド間で DNS クエリの負荷が分散されない場合はどうすればよいですか。」をご参照ください。

イメージステータス

イメージが破損しているかどうかを確認します。

チケットを送信する。

イメージの Overlay2 ステータス

イメージ内の overlay2 ファイルシステムが破損しているかどうかを確認します。

イメージ内の overlay2 ファイルシステムが破損している場合。

システム時間

システム時間が正しいかどうかを確認します。

なし。

Docker コンテナーの起動

Docker コンテナーが起動に失敗したかどうかを確認します。

チケットを送信する。

Docker イメージのプル

ノードが Docker イメージを想定どおりにプルできるかどうかを確認します。

ノードネットワークとイメージの構成を確認します。

Docker ステータス

Docker のステータスを確認します。

チケットを送信する。

Docker 起動時間

Dockerd の起動時間を確認します。

なし。

Docker ハングエラー

ノードで Docker ハングエラーが発生するかどうかを確認します。

systemctl restart docker コマンドを実行して、Docker を再起動します。

ECS インスタンスの存在

ECS インスタンスが存在するかどうかを確認します。

ECS インスタンスのステータスを確認します。詳細については、「ノードとノードプールに関する FAQ」をご参照ください。

ECS インスタンスのステータス

ECS インスタンスのステータスを確認します。

ECS インスタンスのステータスを確認します。詳細については、「ノードとノードプールに関する FAQ」をご参照ください。

Ext4FsError エラー

ノード カーネルで Ext4FsError エラーが発生するかどうかを確認します。

チケットを送信する。

読み取り専用ノードファイルシステム

ほとんどの場合、ディスク障害が原因でノードファイルシステムが読み取り専用になります。 読み取り専用ノードファイルシステムにデータを書き込むことはできず、ビジネスに影響が出る可能性があります。

fsck コマンドを使用してノードファイルシステムを修復し、ノードを再起動します。

ハードウェア時間

ハードウェア時間とシステム時間の整合性を確認します。ハードウェア時間とシステム時間の差が 2 分を超える場合は、コンポーネントエラーが発生する可能性があります。

hwclock --systohc コマンドを実行して、システム時間をハードウェア クロックに同期させます。

DNS

ノードでドメイン名を解決できるかどうかを確認します。

ノードでドメイン名を解決できるかどうかを確認します。詳細については、「DNS トラブルシューティング」をご参照ください。

カーネル oops エラー

ノード カーネルに oops エラーが存在するかどうかを確認します。

チケットを送信する。

カーネルバージョン

カーネルバージョンが古くなっているかどうかを確認します。古いカーネルバージョンは、システム障害につながる可能性があります。

ノードカーネルを更新します。詳細については、「ノードとノードプールに関する FAQ」をご参照ください。

DNS 可用性

ノードが kube-dns サービスのクラスター IP アドレスにアクセスして、クラスターが提供する DNS サービスを使用できるかどうかを確認します。

CoreDNS ポッドのステータスとログを確認します。詳細については、「DNS トラブルシューティング」をご参照ください。

Kubelet ステータス

kubelet のステータスを確認します。

kubelet ログを確認します。詳細については、「ACK クラスタのトラブルシューティング」をご参照ください。

kubelet の起動時間

kubelet の起動時間を確認します。

なし。

CPU 使用率

ノードの CPU 使用率が過度に高いかどうかを確認します。

なし。

メモリ使用率

ノードのメモリ使用率が過度に高いかどうかを確認します。

なし。

メモリ断片化

ノード上にメモリ フラグメントが存在するかどうかを確認します。

ノード上にメモリ フラグメントが存在する場合は、ノードにログインして echo 3 > /proc/sys/vm/drop_caches を実行し、キャッシュを削除します。

スワップ メモリ

ノードでスワップ メモリが有効になっているかどうかを確認します。

スワップ メモリを有効にすることはできません。ノードにログオンし、スワップ メモリを無効にしてください。

ネットワーク デバイス ドライバーの読み込み

ネットワーク デバイス上の VirtIO ドライバーの読み込みを確認します。

ネットワーク デバイス上の VirtIO ドライバーの読み込み中にエラーが発生します。

ノードの CPU 使用率が高すぎる

過去 1 週間のノードの CPU 使用率を確認します。ノードの CPU 使用率が高く、多数のポッドがノードにスケジュールされている場合、ポッドはリソースを奪い合います。これにより、CPU 使用率が上昇し、サービス中断が発生する可能性があります。

サービス中断を回避するには、リソースのリクエストと制限を適切な値に設定し、ノード上で過度に多数のポッドが実行されないようにします。

非公開ノード IP の存在

非公開ノード IP アドレスが存在するかどうかを確認します。

非公開ノード IP アドレスが存在しない場合は、ノードを削除し、クラスターに再度ノードを追加します。ノードを削除するときに ECS インスタンスを解放しないでください。クラスターからノードを削除する方法の詳細については、「ノードを削除する」をご参照ください。クラスターにノードを追加する方法の詳細については、「既存の ECS インスタンスを追加する」をご参照ください。

ノードのメモリ使用率が高すぎる

過去 1 週間のノードのメモリ使用率を確認します。ノードのメモリ使用率が高く、多数のポッドがノードにスケジュールされている場合、ポッドはリソースを奪い合います。これにより、メモリ使用率が上昇し、メモリ不足 (OOM) エラーが発生し、サービス中断につながる可能性があります。

サービス中断を回避するには、リソースのリクエストと制限を適切な値に設定し、ノード上で過度に多数のポッドが実行されないようにします。

ノード ステータス

ノードが Ready 状態であるかどうかを確認します。

ノードを再起動します。詳細については、「ノードとノードプールに関する FAQ」をご参照ください。

ノードのスケジューリング可能性

ノードがスケジューリング不可かどうかを確認します。

ノードがスケジューリング不可の場合は、ノードのスケジューリング構成を確認します。詳細については、「ノードのドレイニングとスケジューリング ステータス」をご参照ください。

OOM エラー

ノードで OOM エラーが発生するかどうかを確認します。

チケットを送信する。

ランタイムチェック

ノードのランタイムがクラスターのランタイムと同じかどうかを確認します。

詳細については、「クラスターのコンテナーランタイムを containerd から Docker に変更できますか?」をご参照ください。

古い OS バージョン

ノードで使用されている OS バージョンに既知のバグがあるかどうか、およびノードで使用されている OS バージョンが古くなっており、安定性の問題があるかどうかを確認します。前述の問題により、Docker および containerd コンポーネントが誤動作する可能性があります。

OS バージョンを更新します。

インターネットアクセス

ノードがインターネットにアクセスできるかどうかを確認します。

クラスタで SNAT が有効になっているかどうかを確認します。詳細については、「既存の ACK クラスタがインターネットにアクセスできるようにする」をご参照ください。

RCUStallError エラー

ノード カーネルで RCUStallError エラーが発生するかどうかを確認します。

チケットを送信する。

OS バージョン

ノードで使用されている OS バージョンを確認します。ノードで古い OS バージョンが使用されている場合、クラスターは正常に動作しない可能性があります。

なし。

Runc プロセスのリーク

ノードで runc プロセスのリークが発生した場合、ノードは定期的に NotReady 状態になる可能性があります。

runc プロセスのリークが発生した場合は、リークした runc プロセスを確認し、プロセスを手動で終了します。

SoftLockupError エラー

ノード カーネルで SoftLockupError エラーが発生するかどうかを確認します。

チケットを送信する。

Systemd のハング

systemd がノードでハングしたかどうかを確認します。

ノードで systemd のハングが発生した場合、ノードにログインし、systemctl daemon-reexec コマンドを実行して systemd を再起動します。

古い systemd バージョン

ノードで使用されている systemd バージョンに既知のバグがあるかどうかを確認します。古い systemd バージョンには安定性の問題があり、Docker および containerd コンポーネントが誤動作する可能性があります。

systemd バージョンを更新します。詳細については、「systemd」をご参照ください。

ハングプロセス

ノードにハングプロセスが存在するかどうかを確認します。

[チケットの送信]。

unregister_netdevice エラー

ノード カーネルで unregister_netdevice エラーが発生するかどうかを確認します。

[チケットの送信]。

診断項目

説明

解決策

CNI コンポーネントステータス

コンテナネットワークインターフェイス ( CNI ) プラグインが想定どおりに実行されているかどうかを確認します。

クラスタで使用されているネットワークコンポーネントのステータスを確認します。詳細については、「ネットワーク管理に関する FAQ」をご参照ください。

CSI コンポーネントステータス

コンテナストレージインターフェイス ( CSI ) プラグインが想定どおりに実行されているかどうかを確認します。

クラスタで使用されているボリュームコンポーネントのステータスを確認します。詳細については、「CSI に関する FAQ」をご参照ください。

診断項目

説明

解決策

aliyun-acr-credential-helper のバージョン

クラスタで使用されている aliyun-acr-credential-helper のバージョンが古くなっているかどうかを確認します。

クラスタで使用されている aliyun-acr-credential-helper のバージョンが古くなっている場合は、aliyun-acr-credential-helper を更新します。詳細については、「aliyun-acr-credential-helper コンポーネントを使用して、シークレットを使用せずにイメージをプルする」をご参照ください。

API サービスの可用性

クラスタの API サービスが利用可能かどうかを確認します。

kubectl get apiservice コマンドを実行して、クラスタの API サービスの可用性を確認します。API サービスが利用できない場合は、kubectl describe apiservice コマンドを実行して、API サービスに関する情報を表示し、原因を特定します。

使用可能な Pod CIDR ブロックの不足

Flannel がインストールされているクラスタで使用可能な Pod CIDR ブロックの数が 5 未満かどうかを確認します。クラスタ内の各ノードは Pod CIDR ブロックに接続されています。すべての Pod CIDR ブロックが使用されている場合、クラスタに追加する新しいノードは期待どおりに動作しません。

チケットを送信する。

CoreDNS エンドポイント

CoreDNS エンドポイントの数をチェックします。

CoreDNS Pod のステータスとログを確認します。詳細については、「DNS のトラブルシューティング」をご参照ください。

CoreDNS クラスタ IP アドレス

CoreDNS Pod にクラスタ IP アドレスが割り当てられているかどうかを確認します。CoreDNS Pod にクラスタ IP アドレスが割り当てられていない場合、サービス中断が発生する可能性があります。

CoreDNS Pod のステータスとログを確認します。詳細については、「DNS のトラブルシューティング」をご参照ください。

NAT ゲートウェイのステータス

クラスタで使用される NAT ゲートウェイのステータスを確認します。

NAT ゲートウェイコンソール にログインして、支払い遅延のために NAT ゲートウェイがロックされているかどうかを確認します。

NAT ゲートウェイでの同時接続ドロップ率が過度に高い

NAT ゲートウェイでの同時接続のドロップ率が高いかどうかを確認します。

レートが高い場合は、NAT ゲートウェイをスペックアップします。詳細については、「標準インターネット NAT ゲートウェイを拡張インターネット NAT ゲートウェイにアップグレードする方法に関するよくある質問」をご参照ください。

診断項目

説明

解決策

ECS インスタンスコンポーネントの支払い遅延

アカウントの支払い遅延により、ECS インスタンスのディスクまたはネットワーク帯域幅が使用できないかどうかを確認します。

アカウントの支払い遅延により、ECS インスタンスのディスクまたはネットワーク帯域幅が使用できない場合は、アカウントの残高を補充してください。

ECS インスタンスの支払い遅延

従量課金制の ECS インスタンスが支払い遅延により停止しているかどうかを確認します。

従量課金制の ECS インスタンスが支払い遅延により停止している場合は、最初にアカウントの残高を補充してから、インスタンスを再起動する必要があります。

ECS インスタンス NIC のステータス

ECS インスタンスの NIC が想定どおりに動作しているかどうかを確認します。

ECS インスタンスの NIC が想定どおりに動作していない場合は、インスタンスを再起動してください。

ECS インスタンスの起動ステータス

インスタンスで起動操作を正常に実行できるかどうかを確認します。

インスタンスで起動操作を正常に実行できない場合は、別のインスタンスを作成する必要があります。

ECS インスタンスバックエンド管理システムのステータス

ECS インスタンスのバックエンド管理システムが想定どおりに動作しているかどうかを確認します。

ECS インスタンスのバックエンド管理システムが想定どおりに動作していない場合は、インスタンスを再起動してください。

ECS インスタンス CPU のステータス

ECS インスタンスの基盤レイヤーで CPU の競合または CPU バインドのエラーが発生しているかどうかを確認します。

CPU の競合が存在する場合、インスタンスは CPU を取得できないか、他の問題が発生する可能性があります。インスタンスを再起動してください。

ECS インスタンスの CPU での分割ロック

ECS インスタンスの CPU で分割ロックが発生しているかどうかを確認します。

ECS インスタンスの CPU で分割ロックが発生しています。詳細については、「分割ロックの検出と処理」をご参照ください。

ECS インスタンスの DDoS 緩和のステータス

インスタンスのパブリック IP アドレスが DDoS 攻撃を受けているかどうかを確認します。

ECS インスタンスの IP アドレスが DDoS 攻撃を受けている場合は、他の Anti-DDoS サービスを購入してください。詳細については、「Alibaba Cloud Anti-DDoS ソリューションの比較」をご参照ください。

クラウドディスクの読み取り/書き込み機能の制限

クラウドディスクの読み取り/書き込み機能が制限されているかどうかを確認します。

ディスクの最大読み取り IOPS および書き込み IOPS に達した場合、ディスクの読み取り操作と書き込み操作は制限されます。ディスクメトリックの表示方法の詳細については、「ブロックストレージのパフォーマンス」をご参照ください。

ECS インスタンスディスクの読み込み

インスタンスの起動時にクラウドディスクを ECS インスタンスにアタッチできるかどうかを確認します。

クラウドディスクをインスタンスにアタッチできなかったためにインスタンスを起動できなかった場合は、インスタンスを停止してから再起動してください。

ECS インスタンスの有効期限

インスタンスのサブスクリプションの有効期限が切れているかどうかを確認します。

ECS インスタンスの有効期限が切れている場合は、インスタンスを更新してください。詳細については、「サブスクリプションインスタンスの更新」をご参照ください。

ECS インスタンス OS のクラッシュ

ECS インスタンスで OS クラッシュが発生しているかどうかを確認します。

過去 48 時間以内に ECS インスタンスで OS クラッシュが発生した場合は、システムログをトラブルシューティングして原因を特定してください。詳細については、「システムログとスクリーンショットの表示」をご参照ください。

ECS インスタンスホストのステータス

ECS インスタンスがデプロイされている物理サーバーでエラーが発生しているかどうかを確認します。

ECS インスタンスがデプロイされている物理サーバーでエラーが発生した場合、インスタンスは異常な状態になり、インスタンスのパフォーマンスが低下する可能性があります。インスタンスを再起動してください。

ECS インスタンスイメージの読み込み

システムがインスタンスを初期化するときに、ECS インスタンスがイメージを読み込めるかどうかを確認します。

システムとイメージに関連する問題により、ECS インスタンスはイメージを読み込めませんでした。インスタンスを再起動してください。

ECS インスタンスディスクの I/O ハング

ECS インスタンスのシステムディスクで I/O ハングが発生しているかどうかを確認します。

ECS インスタンスのシステムディスクで I/O ハングが発生した場合は、ディスクメトリックを確認してください。詳細については、「クラウドディスクのモニタリングデータの表示」をご参照ください。Alibaba Cloud Linux 2 での I/O ハングのトラブルシューティング方法については、「ファイルシステムとブロックレイヤーの I/O ハングの検出」をご参照ください。

ECS インスタンスの帯域幅上限

ECS インスタンスの合計帯域幅が、インスタンスタイプで許可されている最大帯域幅に達しているかどうかを確認します。

ECS インスタンスの合計帯域幅が、インスタンスタイプで許可されている最大帯域幅に達している場合は、より高い帯域幅機能を提供するインスタンスタイプにインスタンスをアップグレードしてください。詳細については、「インスタンス構成の変更の概要」をご参照ください。

ECS インスタンスのバースト帯域幅の上限

インスタンスのバースト帯域幅が、インスタンスタイプで許可されているバースト帯域幅の上限を超えているかどうかを確認します。

インスタンスのバースト帯域幅が、インスタンスタイプで許可されているバースト帯域幅の上限を超えている場合は、より高い帯域幅を提供するインスタンスタイプにインスタンスをアップグレードしてください。詳細については、「インスタンス構成の変更の概要」をご参照ください。

ECS インスタンス NIC の読み込み

ECS インスタンスの NIC を読み込めるかどうかを確認します。

NIC を読み込めない場合、インスタンスのネットワーク接続に影響します。インスタンスを再起動してください。

ECS インスタンスでの NIC セッションの確立

ECS インスタンスの NIC へのセッションを確立できるかどうかを確認します。

NIC へのセッションを確立できない場合、または NIC でサポートされる最大セッション数に達した場合、インスタンスのネットワーク接続またはスループットに影響します。インスタンスを再起動してください。

ECS インスタンスでの主要操作

最近インスタンスで実行した操作が成功したかどうかを確認します。これらの操作には、インスタンスの起動と停止、およびインスタンスの構成のアップグレードが含まれます。

最近インスタンスで実行した操作が失敗した場合は、操作を再実行してください。

ECS インスタンス NIC でのパケット損失

ECS インスタンスの NIC で受信または送信パケット損失が発生しているかどうかを確認します。

ECS インスタンスの NIC で受信または送信パケット損失が発生している場合は、インスタンスを再起動してください。

ECS インスタンスのパフォーマンス低下

ソフトウェアまたはハードウェアの問題により、インスタンスのパフォーマンスが一時的に低下しているかどうかを確認します。

インスタンスのパフォーマンスが低下している場合は、パフォーマンスが低下している時間が表示されます。インスタンスの過去のイベントまたはシステムログを表示して、パフォーマンス低下の原因を特定できます。詳細については、「過去のシステムイベントの表示」をご参照ください。

低下した ECS インスタンスのパフォーマンス

ECS インスタンスのパフォーマンスが低下しているかどうかを確認します。

使用可能な CPU クレジットが不足しているため、ECS インスタンスはベースラインパフォーマンスしか提供できません。

ECS インスタンスディスクのサイズ変更

ECS インスタンスのディスクのサイズが変更されているかどうかを確認します。

ディスクのサイズ変更後、オペレーティングシステムはファイルシステムのサイズを変更できません。ディスクのサイズ変更後にディスクを使用できない場合は、ディスクのサイズを再度変更してください。

ECS インスタンスリソースアプリケーション

ECS インスタンスに必要な CPU リソースやメモリリソースなどの物理リソースが十分にあるかどうかを確認します。

ECS インスタンスに必要な物理リソースが不足している場合、インスタンスを起動できません。数分待ってから、インスタンスを再起動してください。別のリージョンに ECS インスタンスを作成することもできます。

ECS インスタンス OS のステータス

ECS インスタンスの OS でカーネルパニック、OOM エラー、または内部エラーが発生しているかどうかを確認します。

これらのエラーは、インスタンスの構成が不適切であるか、インスタンスの OS 内のユーザープログラムが原因である可能性があります。インスタンスを再起動してください。

ECS インスタンスの仮想化ステータス

インスタンスの基盤となる仮想化レイヤーのコアサービスに例外が存在するかどうかを確認します。

例外が存在する場合、インスタンスが応答しないか、予期せず停止する可能性があります。インスタンスを再起動してください。