すべてのプロダクト
Search

このプロダクト

    Container Service for Kubernetes:自己管理のPrometheusシステムを使用して、制御プレーンコンポーネントの監視とアラートを設定する

    ドキュメントセンター

    Container Service for Kubernetes:自己管理のPrometheusシステムを使用して、制御プレーンコンポーネントの監視とアラートを設定する

    最終更新日:Nov 14, 2024

    このトピックでは、Container Service for Kubernetes (ACK) Proクラスター内のkube-apiserver、etcd、kube-scheduler、cloud-controller-manager、kube-controller-managerから自己管理型Prometheusシステムにメトリックを収集する方法について説明します。 このトピックでは、推奨されるアラート設定も提供します。

    前提条件

    • 自己管理のPrometheusシステムは、ACK ProクラスターのAPIサーバーにアクセスでき、読み取り /メトリクスのアクセス許可があります。

    • 自己管理のPrometheusシステムは、ACK Proクラスターの内部または外部に展開できます。

    背景情報

    ACK Proを使用すると、主要な制御プレーンコンポーネントのモニタリングデータを外部システムにシンクでき、Application Real-Time monitoring Service (ARMS) にこれらのコンポーネントの組み込みダッシュボードを提供します。 これらの制御プレーンコンポーネントには、kube-apiserver、etcd、kube-scheduler、cloud-controller-manager、kube-controller-managerが含まれます。 ARMSを使用してコンポーネントを監視することを選択した場合、ARMSエージェントは自動的に監視データを収集し、そのデータを組み込みダッシュボードにリアルタイムで表示します。 自己管理のPrometheusシステムを使用してACK Proクラスター内の主要な制御プレーンコンポーネントのメトリックを収集し、アラートを生成する場合は、このトピックで提供されている設定を使用します。

    Prometheusシステムのメトリック収集の構成

    自己管理のPrometheusシステムを使用してACK Proクラスター内の主要な制御プレーンコンポーネントのメトリックを収集するには、prometheusシステムの構成ファイルPrometheus. yamlにメトリック収集ジョブを追加します。 次のコードブロックは、ジョブの例を示しています。

    global:
  scrape_interval:     15s # By default, scrape targets every 15 seconds.

  # Attach these labels to any time series or alerts when communicating with
  # external systems (federation, remote storage, Alertmanager).
  external_labels:
    monitor: 'codelab-monitor'

# A scrape configuration containing exactly one endpoint to scrape:
# Here it's Prometheus itself.
scrape_configs:
  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
  - job_name: ack-api-server
    ......

  - job_name: ack-etcd
    ......

  - job_name: ack-scheduler
    ......

    各ジョブは、コンポーネントに対応する。 詳細については、各コンポーネントでサポートされているメトリックを参照してください。 オープンソースのPrometheusにPrometheus.yamlを設定する方法の詳細については、「設定」をご参照ください。

    オープンソースのPrometheus Operatorとackのマーケットプレイスで提供されるACK-prometheus-operatorコンポーネントの詳細については、「open source Prometheus monitoring」をご参照ください。 カスタムメトリック収集設定を設定する方法の詳細については、「Prometheus演算子」をご参照ください。

    Prometheusシステムのアラートルールの構成

    オープンソースのPrometheusにアラートルールを設定する方法の詳細については、「Alerting_rules」をご参照ください。

    内部のPrometheusシステムを使用してACK Proクラスターを監視する

    ACK Proクラスター内にPrometheusシステムをデプロイし、Prometheusシステムを使用してクラスターを監視できます。

    kube-apiserver

    kube-apiserverの詳細については、「kube-apiserverのメトリック」をご参照ください。

    • メトリック収集の設定

      - job_name: ack-api-server  
  scrape_interval: 30s
  scrape_timeout: 30s
  metrics_path: /metrics
  scheme: https
  #  scheme: https
  honor_labels: true
  honor_timestamps: true
  params:
    hosting: ["true"]
    job: ["apiserver"]
  kubernetes_sd_configs:
  - role: endpoints
    namespaces:
      names: [default]
  bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
  tls_config: {ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt, server_name: kubernetes,
               insecure_skip_verify: false}
  relabel_configs:
  - source_labels: [__meta_kubernetes_service_label_component]
    separator: ;
    regex: apiserver
    replacement: $1
    action: keep
  - source_labels: [__meta_kubernetes_service_label_provider]
    separator: ;
    regex: kubernetes
    replacement: $1
    action: keep
  - source_labels: [__meta_kubernetes_endpoint_port_name]
    separator: ;
    regex: https
    replacement: $1
    action: keep
  - source_labels: [__meta_kubernetes_namespace]
    separator: ;
    regex: (.*)
    target_label: namespace
    replacement: $1
    action: replace
  - source_labels: [__meta_kubernetes_endpoint_address_target_kind, __meta_kubernetes_endpoint_address_target_name]
    separator: ;
    regex: Node;(.*)
    target_label: node
    replacement: ${1}
    action: replace
  - source_labels: [__meta_kubernetes_endpoint_address_target_kind, __meta_kubernetes_endpoint_address_target_name]
    separator: ;
    regex: Pod;(.*)
    target_label: pod
    replacement: ${1}
    action: replace
  - source_labels: [__meta_kubernetes_service_name]
    separator: ;
    regex: (.*)
    target_label: service
    replacement: $1
    action: replace
  - source_labels: [__meta_kubernetes_service_name]
    separator: ;
    regex: (.*)
    target_label: job
    replacement: ${1}
    action: replace
  - source_labels: [__meta_kubernetes_service_label_component]
    separator: ;
    regex: (.+)
    target_label: job
    replacement: ${1}
    action: replace
  - {separator: ;, regex: (.*), target_label: endpoint, replacement: https, action: replace}

    • アラートルール

      - alert: AckApiServerWarning
  annotations:
    message:  APIServer is not available in last 5 minutes. Please check the prometheus job and target status.
  expr: |
    (absent(up{job="ack-api-server",pod!=""}) or (count(up{job="ack-api-server",pod!=""}) <= 1)) == 1
  for: 5m
  labels:
    severity: critical

    • メトリクス

      kube-apiserverでサポートされているメトリックの詳細については、「kube-apiserverでサポートされているメトリック」をご参照ください。

    etcd

    etcdの詳細については、「etcdの監視」をご参照ください。

    • メトリック収集の設定

      - job_name: ack-etcd 
  scrape_interval: 30s
  scrape_timeout: 30s
  metrics_path: /metrics
  scheme: https
  #  scheme: https
  honor_labels: true
  honor_timestamps: true
  params:
    hosting: ["true"]
    job: ["etcd"]
  kubernetes_sd_configs:
  - role: endpoints
    namespaces:
      names: [default]
  bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
  tls_config: {ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt, server_name: kubernetes,
               insecure_skip_verify: false}
  relabel_configs:
  - source_labels: [__meta_kubernetes_service_label_component]
    separator: ;
    regex: apiserver
    replacement: $1
    action: keep
  - source_labels: [__meta_kubernetes_service_label_provider]
    separator: ;
    regex: kubernetes
    replacement: $1
    action: keep
  - source_labels: [__meta_kubernetes_endpoint_port_name]
    separator: ;
    regex: https
    replacement: $1
    action: keep
  - source_labels: [__meta_kubernetes_namespace]
    separator: ;
    regex: (.*)
    target_label: namespace
    replacement: $1
    action: replace
  - source_labels: [__meta_kubernetes_endpoint_address_target_kind, __meta_kubernetes_endpoint_address_target_name]
    separator: ;
    regex: Node;(.*)
    target_label: node
    replacement: ${1}
    action: replace
  - source_labels: [__meta_kubernetes_endpoint_address_target_kind, __meta_kubernetes_endpoint_address_target_name]
    separator: ;
    regex: Pod;(.*)
    target_label: pod
    replacement: ${1}
    action: replace
  - source_labels: [__meta_kubernetes_service_name]
    separator: ;
    regex: (.*)
    target_label: service
    replacement: $1
    action: replace
  - source_labels: [__meta_kubernetes_service_name]
    separator: ;
    regex: (.*)
    target_label: job
    replacement: ${1}
    action: replace
  - source_labels: [__meta_kubernetes_service_label_component]
    separator: ;
    regex: (.+)
    target_label: job
    replacement: ${1}
    action: replace
  - {separator: ;, regex: (.*), target_label: endpoint, replacement: https, action: replace}

    • アラートルール

      - alert: AckETCDWarning
  annotations:
    message: Etcd cluster has no leader in last 5 minutes, please check whether the cluster is overloaded and contact ACK team.
  expr: |
    sum_over_time(etcd_server_has_leader[5m]) == 0
  for: 5m
  labels:
    severity: critical


- alert: AckETCDWarning
  annotations:
    message: Etcd is not available in last 5 minutes. Please check the prometheus job and target status.
  expr: |
    (absent(up{job="ack-etcd",pod!=""}) or (count(up{job="ack-etcd",pod!=""}) <= 2)) == 1
  for: 5m
  labels:
    severity: critical

    • メトリクス

      etcdでサポートされているメトリックの詳細については、「etcdでサポートされているメトリック」をご参照ください。

    kube-scheduler

    kube-schedulerの詳細については、「kube-schedulerのメトリック」をご参照ください。

    • メトリック収集の設定

      - job_name: ack-scheduler
  scrape_interval: 30s
  scrape_timeout: 30s
  metrics_path: /metrics
  scheme: https
  #  scheme: https
  honor_labels: true
  honor_timestamps: true
  params:
    hosting: ["true"]
    job: ["ack-scheduler"]
  kubernetes_sd_configs:
  - role: endpoints
    namespaces:
      names: [default]
  bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
  tls_config: {ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt, server_name: kubernetes,
               insecure_skip_verify: false}
  relabel_configs:
  - source_labels: [__meta_kubernetes_service_label_component]
    separator: ;
    regex: apiserver
    replacement: $1
    action: keep
  - source_labels: [__meta_kubernetes_service_label_provider]
    separator: ;
    regex: kubernetes
    replacement: $1
    action: keep
  - source_labels: [__meta_kubernetes_endpoint_port_name]
    separator: ;
    regex: https
    replacement: $1
    action: keep
  - source_labels: [__meta_kubernetes_namespace]
    separator: ;
    regex: (.*)
    target_label: namespace
    replacement: $1
    action: replace
  - source_labels: [__meta_kubernetes_endpoint_address_target_kind, __meta_kubernetes_endpoint_address_target_name]
    separator: ;
    regex: Node;(.*)
    target_label: node
    replacement: ${1}
    action: replace
  - source_labels: [__meta_kubernetes_endpoint_address_target_kind, __meta_kubernetes_endpoint_address_target_name]
    separator: ;
    regex: Pod;(.*)
    target_label: pod
    replacement: ${1}
    action: replace
  - source_labels: [__meta_kubernetes_service_name]
    separator: ;
    regex: (.*)
    target_label: service
    replacement: $1
    action: replace
  - source_labels: [__meta_kubernetes_service_name]
    separator: ;
    regex: (.*)
    target_label: job
    replacement: ${1}
    action: replace
  - source_labels: [__meta_kubernetes_service_label_component]
    separator: ;
    regex: (.+)
    target_label: job
    replacement: ${1}
    action: replace
  - {separator: ;, regex: (.*), target_label: endpoint, replacement: https, action: replace}

    • アラートルール

      - alert: AckSchedulerWarning
  annotations:
    message: Scheduler is not available in last 3 minutes. Please check the prometheus job and target status.
  expr: |
    (absent(up{job="ack-scheduler",pod!=""}) or (count(up{job="ack-scheduler",pod!=""}) <= 0)) == 1
  for: 3m
  labels:
    severity: critical

    • メトリクス

      kube-schedulerでサポートされているメトリックの詳細については、「kube-schedulerでサポートされているメトリック」をご参照ください。

    kube-controller-manager

    kube-controller-managerの詳細については、「kube-controller-managerのメトリック」をご参照ください。

    • メトリック収集の設定

      - job_name: ack-kcm
  scrape_interval: 30s
  scrape_timeout: 30s
  metrics_path: /metrics
  scheme: https
  #  scheme: https
  honor_labels: true
  honor_timestamps: true
  params:
    hosting: ["true"]
    job: ["ack-kube-controller-manager"]
  kubernetes_sd_configs:
  - role: endpoints
    namespaces:
      names: [default]
  bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
  tls_config: {ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt, server_name: kubernetes,
               insecure_skip_verify: false}
  relabel_configs:
  - source_labels: [__meta_kubernetes_service_label_component]
    separator: ;
    regex: apiserver
    replacement: $1
    action: keep
  - source_labels: [__meta_kubernetes_service_label_provider]
    separator: ;
    regex: kubernetes
    replacement: $1
    action: keep
  - source_labels: [__meta_kubernetes_endpoint_port_name]
    separator: ;
    regex: https
    replacement: $1
    action: keep
  - source_labels: [__meta_kubernetes_namespace]
    separator: ;
    regex: (.*)
    target_label: namespace
    replacement: $1
    action: replace
  - source_labels: [__meta_kubernetes_endpoint_address_target_kind, __meta_kubernetes_endpoint_address_target_name]
    separator: ;
    regex: Node;(.*)
    target_label: node
    replacement: ${1}
    action: replace
  - source_labels: [__meta_kubernetes_endpoint_address_target_kind, __meta_kubernetes_endpoint_address_target_name]
    separator: ;
    regex: Pod;(.*)
    target_label: pod
    replacement: ${1}
    action: replace
  - source_labels: [__meta_kubernetes_service_name]
    separator: ;
    regex: (.*)
    target_label: service
    replacement: $1
    action: replace
  - source_labels: [__meta_kubernetes_service_name]
    separator: ;
    regex: (.*)
    target_label: job
    replacement: ${1}
    action: replace
  - source_labels: [__meta_kubernetes_service_label_component]
    separator: ;
    regex: (.+)
    target_label: job
    replacement: ${1}
    action: replace
  - {separator: ;, regex: (.*), target_label: endpoint, replacement: https, action: replace}

    • アラートルール

      - alert: AckKCMWarning
  annotations:
    message: KCM is not available in last 3 minutes. Please check the prometheus job and target status.
  expr: |
    (absent(up{job="ack-kcm",pod!=""})or(count(up{job="ack-kcm",pod!=""})<=0))>=1
  for: 3m
  labels:
    severity: critical

    • メトリクス

      kube-controller-managerでサポートされているメトリックの詳細については、「kube-controller-managerでサポートされているメトリック」をご参照ください。

    cloud-controller-manager

    cloud-controller-managerの詳細については、「cloud-controller-managerのメトリック」をご参照ください。

    • メトリック収集の設定

      - job_name: ack-cloud-controller-manager
  scrape_interval: 30s
  scrape_timeout: 30s
  metrics_path: /metrics
  scheme: https
  #  scheme: https
  honor_labels: true
  honor_timestamps: true
  params:
    hosting: ["true"]
    job: ["ack-cloud-controller-manager"]
  kubernetes_sd_configs:
  - role: endpoints
    namespaces:
      names: [default]
  bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
  tls_config: {ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt, server_name: kubernetes,
               insecure_skip_verify: false}
  relabel_configs:
  - source_labels: [__meta_kubernetes_service_label_component]
    separator: ;
    regex: apiserver
    replacement: $1
    action: keep
  - source_labels: [__meta_kubernetes_service_label_provider]
    separator: ;
    regex: kubernetes
    replacement: $1
    action: keep
  - source_labels: [__meta_kubernetes_endpoint_port_name]
    separator: ;
    regex: https
    replacement: $1
    action: keep
  - source_labels: [__meta_kubernetes_namespace]
    separator: ;
    regex: (.*)
    target_label: namespace
    replacement: $1
    action: replace
  - source_labels: [__meta_kubernetes_endpoint_address_target_kind, __meta_kubernetes_endpoint_address_target_name]
    separator: ;
    regex: Node;(.*)
    target_label: node
    replacement: ${1}
    action: replace
  - source_labels: [__meta_kubernetes_endpoint_address_target_kind, __meta_kubernetes_endpoint_address_target_name]
    separator: ;
    regex: Pod;(.*)
    target_label: pod
    replacement: ${1}
    action: replace
  - source_labels: [__meta_kubernetes_service_name]
    separator: ;
    regex: (.*)
    target_label: service
    replacement: $1
    action: replace
  - source_labels: [__meta_kubernetes_service_name]
    separator: ;
    regex: (.*)
    target_label: job
    replacement: ${1}
    action: replace
  - source_labels: [__meta_kubernetes_service_label_component]
    separator: ;
    regex: (.+)
    target_label: job
    replacement: ${1}
    action: replace
  - {separator: ;, regex: (.*), target_label: endpoint, replacement: https, action: replace}

    • アラートルール

      - alert: AckCCMWarning
  annotations:
    message: CCM is not available in last 3 minutes. Please check the prometheus job and target status.
  expr: |
    (absent(up{job="ack-cloud-controller-manager",pod!=""}) or (count(up{job="ack-cloud-controller-manager",pod!=""}) <= 0)) == 1
  for: 3m
  labels:
    severity: critical

    • メトリクス

      cloud-controller-managerでサポートされているメトリックの詳細については、「cloud-controller-managerでサポートされているメトリック」をご参照ください。

    外部のPrometheusシステムを使用してACK Proクラスターを監視する

    外部のPrometheusシステムを使用してACK Proクラスターを監視する場合は、[設定] および [prometheus with Prometheus from external of k8s cluster] を参照してください。 次のコードブロックは、設定を示しています。

      - job_name: 'out-of-k8s-scrape-job'
    scheme: https
    tls_config:
      ca_file: /etc/prometheus/kubernetes-ca.crt
    bearer_token: '<SERVICE ACCOUNT BEARER TOKEN>'

    kubernetes_sd_configs:
      - api_server: 'https://<KUBERNETES URL>'
        role: node
        tls_config:
          ca_file: /etc/prometheus/kubernetes-ca.crt
        bearer_token: '<SERVICE ACCOUNT BEARER TOKEN>'

    モニタリングとアラート機能の確認

    1. 自己管理型Prometheusシステムのコンソールにログインし、Graphページに移動します。

    2. 入力アップすべてのコントロールプレーンコンポーネントが表示されているかどうかを確認します。 

      アップ

      予想される出力

      自定义

      重要

      • up{instance="x.x.x.x:6443", job="ack-api-server"} は、エージェントエンドポイントのステータスを示します。 x.x.x.xは、ACK Proクラスターのデフォルトの名前空間にあるKubernetes ServiceのIPアドレスを示します。 IPアドレスはクラスターによって異なります。

      • up{instance="controlplane-xyz", job="ack-api-server", pod="controlplane-xyz"} は、制御プレーンポッドのステータスを示します。 upメトリックを使用して、制御プレーンポッドの活性をプローブできます。

    3. 次のメトリックを入力し、メトリック値が正常に表示されるかどうかを確認します。 

      apiserver_request_total{job="ack-api-server"}

      予想される出力

      显示2

      メトリックおよび値が通常通り表示される場合、自己管理型プロメテウスシステムは、予想通りに制御プレーンコンポーネントのメトリックを収集することができる。