Container Service for Kubernetes:DNSサービスのベストプラクティス

DNSクエリの最適化

適切なコンテナイメージを使用する

KubernetesクラスターにデプロイされているコンテナーがベースイメージとしてAlpineを使用している場合、musl libcの使用によりドメイン名が解決されないことがあります。 イメージをDebianまたはCentOSに基づくイメージに置き換えることを推奨します。

IPVSの欠陥によって引き起こされる時折のDNS解決タイムアウトの悪影響を減らす

クラスターでkube-proxyの負荷分散モードがIPVSに設定されている場合、CoreDNSポッドのスケールインまたは再起動時にDNS解決タイムアウトが発生する可能性があります。 問題は、Linuxのカーネルバグが原因です。 詳細については、「IPVS」をご参照ください。

NodeLocal DNSCacheを使用したDNS解決の最適化

Container Service for Kubernetes (ACK) を使用すると、NodeLocal DNSCacheをデプロイして、サービス検出の安定性とパフォーマンスを向上させることができます。 NodeLocal DNSCacheはDaemonSetとして実装され、クラスタノードでDNSキャッシングエージェントを実行して、ACKクラスタのDNS解決の効率を向上させます。

NodeLocal DNSCacheの詳細とACKクラスターにNodeLocal DNSCacheをデプロイする方法については、「NodeLocal DNSCacheの設定」をご参照ください。

適切なCoreDNSバージョンを使用する

CoreDNSのステータスを監視する

モニタリングメトリクス

CoreDNSは、標準のPrometheus APIを使用して、DNS解決結果などのメトリックを収集します。 これにより、CoreDNSおよびアップストリームDNSサーバーの例外をできるだけ早く特定できます。

デフォルトでは、CoreDNSに関連するモニタリングメトリックとアラートルールは、Alibaba Cloudが提供するManaged Service for Prometheusで定義されています。 ACKコンソールにログインして、Prometheusのマネージドサービスとダッシュボードを有効にします。 詳細については、「CoreDNSモニタリング」をご参照ください。

オープンソースのPrometheusを使用してKubernetesクラスターを監視する場合、Prometheusで関連するメトリクスを表示し、次の主要なメトリクスに基づいてアラートルールを作成できます。 詳細については、「CoreDNS Prometheus公式ドキュメント」をご参照ください。

操作ログ

DNS解決エラーが発生した場合、CoreDNSのログを表示して原因を特定できます。 CoreDNSのロギングを有効にし、Log Serviceを使用してログデータを収集することを推奨します。 詳細については、「CoreDNSログの収集と分析」をご参照ください。

シンクKubernetesイベント

CoreDNS v1.9.3.6-32932850-aliyun以降のバージョンでは、k8s_eventプラグインを有効にして、CoreDNSの情報、エラー、および警告ログを含むKubernetesイベントをイベントセンターにシンクできます。 詳細は、「k8s_event」をご参照ください。

CoreDNS v1.9.3.6-32932850-aliyun以降のバージョンをデプロイすると、デフォルトでk8s_eventプラグインが有効になります。 以前のCoreDNSバージョンをデプロイしてv1.9.3.6-32932850-aliyun以降に更新した場合は、CoreDNSのConfigMapを変更してk8s_eventプラグインを有効にする必要があります。

1. 次のコマンドを実行してcoredns ConfigMapを開きます。

   kubectl -n kube-system edit configmap/coredns

2. kubeAPIとk8s_eventプラグインを追加します。

   apiVersion: v1
   data:
     Corefile: |
       .:53 {
           errors
           health {
               lameduck 15s
           }
   
           // The beginning of the plug-in configuration. Ignore other settings. 
           kubeapi
           k8s_event {
             level info error warning // Report Info, Error, and Warning logs to Kubernetes events. 
           }
           // The end of the plug-in configuration. 
   
           kubernetes cluster.local in-addr.arpa ip6.arpa {
               pods verified
               fallthrough in-addr.arpa ip6.arpa
           }
           // Details are not shown. 
       }

3. CoreDNSポッドのステータスとログを確認します。 ログデータにreloadキーワードが含まれている場合、新しい設定が読み込まれます。

CoreDNSデプロイの変更

CoreDNSポッドの数の変更

少なくとも2つのCoreDNSポッドをプロビジョニングすることを推奨します。 CoreDNSポッドの数がクラスター内のDNSクエリを処理するのに十分であることを確認する必要があります。

CoreDNSのDNS QPSは、CPU使用率に関連しています。 DNSキャッシュを有効にすると、単一のCPUで10,000を超えるDNS QPSを処理できます。 異なるワークロードに必要なDNS QPSは異なる場合があります。 各CoreDNSポッドのピークCPU使用率に基づいてDNS QPSを評価できます。 ピーク時にCoreDNSポッドが複数のvCPUを占有する場合は、CoreDNSポッドの数を増やすことを推奨します。 各CoreDNSポッドのピークCPU使用率を確認できない場合は、CoreDNSポッドとクラスターノードの比率を1:8に設定できます。 これにより、クラスターに8つのノードを追加するたびに、CoreDNSポッドが作成されます。 CoreDNSポッドの総数は10を超えてはなりません。 クラスターに100を超えるノードが含まれている場合は、NodeLocal DNSCacheを使用することを推奨します。 詳細については、「NodeLocal DNSCacheを使用したDNS解決の最適化」をご参照ください。

• クラスターノードの数が長期間変わらない場合は、CoreDNSポッドの数を手動で増やすことができます。 詳細については、「手動でCoreDNSポッドの数を増やす」をご参照ください。

• クラスターノードの数が増加すると、CoreDNSポッドの数が自動的に増加するようにシステムを設定できます。 詳細については、「cluster-autoscalerを使用してCoreDNSポッドの数を自動的に増やす」をご参照ください。

CoreDNSポッドを適切なノードにスケジュールする

CoreDNSポッドをクラスターにデプロイする場合は、複数のゾーンにまたがる異なるクラスターノードにCoreDNSポッドをデプロイすることを推奨します。 これにより、単一のノードまたはゾーンに障害が発生した場合のサービスの中断を防ぎます。 デフォルトでは、ノードに基づくソフトなアンチアフィニティ設定がCoreDNS用に構成されています。 ノードが不十分なため、一部またはすべてのCoreDNSポッドが同じノードにデプロイされる場合があります。 この場合、CoreDNSポッドを削除し、ポッドを再スケジュールすることを推奨します。

CoreDNSポッドは、CPUとメモリリソースが完全に利用されているクラスターノードにデプロイしないでください。 そうでない場合、DNS QPSおよび応答時間は悪影響を受ける。 クラスターに十分なノードが含まれている場合は、カスタムパラメーターを設定して、排他ノードにCoreDNSポッドをスケジュールできます。 これにより、CoreDNSは安定したドメイン名解決サービスを提供できます。 排他的クラスターノードにCoreDNSポッドをスケジュールする方法の詳細については、「カスタムパラメーターを設定して排他的ノードにCoreDNSポッドをデプロイする」を参照してください。

CoreDNSポッドの数を手動で増やす

kubectl scale -- replicas={target} deployment/coredns -n kube-system

cluster-autoscalerを使用してCoreDNSポッドの数を自動的に増やす

---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: dns-autoscaler
  namespace: kube-system
  labels:
    k8s-app: dns-autoscaler
spec:
  selector:
    matchLabels:
      k8s-app: dns-autoscaler
  template:
    metadata:
      labels:
        k8s-app: dns-autoscaler
    spec:
      serviceAccountName: admin
      containers:
      - name: autoscaler
        image: registry.cn-hangzhou.aliyuncs.com/acs/cluster-proportional-autoscaler:1.8.4
        resources:
          requests:
            cpu: "200m"
            memory: "150Mi"
        command:
        - /cluster-proportional-autoscaler
        - --namespace=kube-system
        - --configmap=dns-autoscaler
        - --nodelabels=type!=virtual-kubelet
        - --target=Deployment/coredns
        - --default-params={"linear":{"coresPerReplica":64,"nodesPerReplica":8,"min":2,"max":100,"preventSinglePointFailure":true}}
        - --logtostderr=true
        - --v=9

{
      "coresPerReplica": 64,
      "nodesPerReplica": 8,
      "min": 2,
      "max": 100,
      "preventSinglePointFailure": true
}

HPAを使用してCPU負荷に基づいてCoreDNSポッドの数を増やす

---
apiVersion: autoscaling/v2beta1
kind: HorizontalPodAutoscaler
metadata:
  name: coredns-hpa
  namespace: kube-system
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: coredns
  minReplicas: 2
  maxReplicas: 10
  metrics:
  - type: Resource
    resource:
      name: cpu
      targetAverageUtilization: 50

カスタムパラメータを使用して排他ノードにCoreDNSポッドをデプロイする

1. ACK コンソールにログインします。 左側のナビゲーションウィンドウで、[クラスター] をクリックします。

2. [クラスター] ページで、管理するクラスターの名前をクリックします。 左側のウィンドウで、[ノード] > [ノード] を選択します。

3. [ノード] ページで、[ラベルとテイントの管理] をクリックします。

4. [ラベルとテイントの管理] ページの [ラベル] タブで、管理するノードを選択し、[ラベルの追加] をクリックします。

   説明

   選択するノードの数は、CoreDNSポッドの数よりも大きい必要があります。 これにより、複数のCoreDNSポッドを同じノードにデプロイできなくなります。

5. [追加] ダイアログボックスで、次のパラメーターを設定し、[OK] をクリックします。

   • 名前: node-role-typeを入力します。

   • 値: corednsを入力します。

6. 左側のナビゲーションウィンドウで、[操作] > [アドオン] を選択します。 表示されるページで、CoreDNSを検索します。

7. CoreDNSセクションで [設定] をクリックします。 [CoreDNSパラメーター] ダイアログボックスで、[NodeSelector] の右側にある [+ 追加] をクリックし、次のパラメーターを設定し、[OK] をクリックします。

   • キー: node-role-typeを入力します。

   • 値: corednsを入力します。

   CoreDNSポッドは、指定されたラベルを持つノードに再スケジュールされます。

CoreDNSを適切に設定する

ACKはCoreDNSのデフォルト設定のみを提供します。 パラメーターを変更して設定を最適化し、CoreDNSがクライアントポッドに通常のDNSサービスを提供できるようにすることができます。 オンデマンドでCoreDNSの設定を変更できます。 詳細については、「DNSポリシーとドメイン名解決」および「CoreDNS公式ドキュメント」をご参照ください。

Container Intelligence Serviceコンソールに移動し、定期検査および診断コンポーネントを使用してCoreDNSの設定を確認できます。 結果にcoredns ConfigMapに関連するエラーが表示された場合は、上記の操作を実行することをお勧めします。

CoreDNSのリソースリクエストと制限を調整する

次の表に、リソース要求のデフォルト値と、システムがCoreDNSをデプロイするときの制限を示します。 クラスターのステータスに基づいて値を変更できます。 詳細については、「O&M管理-コンポーネント管理-ネットワーク-CoreDNS-パラメーター設定」を参照してください。

kube-dnsサービスのアフィニティ設定を無効にする

autopathプラグインを無効にする

自動パスプラグインは以前のバージョンのCoreDNSで有効になっており、特定のシナリオでDNS解決エラーを引き起こす可能性があります。 autopathプラグインが有効になっている場合は、coredns ConfigMapでプラグインを無効にする必要があります。 詳細については、「オートパス」をご参照ください。

1. kubectl -n kube-system edit configmap corednsコマンドを実行して、coredns ConfigMapを変更します。

2. autopath @ kubernetesを削除します。 次に、変更を保存して終了します。

3. CoreDNSポッドのステータスとログを確認します。 ログデータにreloadキーワードが含まれている場合、新しい設定が読み込まれます。

CoreDNSのグレースフルシャットダウンの設定

VPCのフォワードプラグインおよびアップストリームDNSサーバーのデフォルトプロトコルの設定

NodeLocal DNSCacheは、TCPプロトコルを使用してCoreDNSと通信します。 CoreDNSは、DNSクエリのソースによって使用されるプロトコルに基づいて、アップストリームDNSサーバーと通信します。 したがって、外部ドメイン名のクライアントポッドから送信されたDNSクエリは、NodeLocal DNSCacheとCoreDNSを通過し、TCP経由でVPCのDNSサーバーに到達します。 DNSサーバーのIPアドレスは100.100.2.136と100.100.2.138です。 これらのIPアドレスは、Elastic Compute Service (ECS) インスタンスで自動的に設定されます。

# The original setting
forward . /etc/resolv.conf
# The modified setting
forward . /etc/resolv.conf {
  prefer_udp
}

準備完了プラグインの設定

1.5.0以降のバージョンのCoreDNSの準備完了プラグインを設定する必要があります。

1. 次のコマンドを実行してcoredns ConfigMapを開きます。

   kubectl -n kube-system edit configmap/coredns

2. readyのみを含む行が存在するかどうかを確認します。 行が存在しない場合は、行を追加してreadyを指定し、Escキーを押して :wq! と入力し、enterキーを押してファイルを保存し、編集モードを終了します。

   apiVersion: v1
   data:
    Corefile: |
     .:53 {
       errors
       health {
         lameduck 15s
       }
       ready # Add this line and make sure that the word "ready" is aligned with the word "kubernetes". 
       kubernetes cluster.local in-addr.arpa ip6.arpa {
         pods verified
         fallthrough in-addr.arpa ip6.arpa
       }
       prometheus :9153
       forward . /etc/resolv.conf {
         max_concurrent 1000
               prefer_udp
       }
       cache 30
       loop
       log
       reload
       loadbalance
     }

3. CoreDNSポッドのステータスとログを確認します。 ログデータにreloadキーワードが含まれている場合、新しい設定が読み込まれます。