Container Service for Kubernetes：使用NodeLocal DNSCache

使用限制

• NodeLocal DNSCache不支援ACK Serverless叢集、以及託管版、專有版叢集中部署的ECI類型的Pod。

• 如果叢集網路類型為Terway，請更新Terway至v1.0.10.301及以上版本。如果是基於IPVLAN的Terway多IP模式，需要對Terway進行配置修改。更多資訊，請參見修改Terway配置。

• 組件管理中的NodeLocal DNSCache和應用目錄中的ack-node-local-dns為同一應用，不需要重複安裝。

• NodeLocal DNSCache不提供Hosts、Rewrite等外掛程式能力，僅作為CoreDNS的透明緩衝代理。如有需要，可在CoreDNS配置中修改。

• 使用NodeLocal DNSCache前，您需要對CoreDNS配置進行修改，否則可能導致叢集外部網域名稱解析異常。具體操作，請參見配置Forward外掛程式與上遊VPC DNS伺服器的預設協議。

NodeLocal DNSCache簡介

關於NodeLocal DNSCache的緩衝策略，請參見DNS解析及緩衝策略說明。

安裝NodeLocal DNSCache

您可以通過組件管理或者應用目錄頁面安裝NodeLocal DNSCache，建議您通過組件管理安裝NodeLocal DNSCache。

方式一：通過組件管理安裝NodeLocal DNSCache

1. 登入Container Service管理主控台，在左側導覽列選擇叢集。

2. 在叢集列表頁面，選擇目的地組群名稱或者目的地組群右側操作列下的更多 > 營運管理 > 組件管理。

3. 在組件管理頁面，單擊網路頁簽，找到ACK NodeLocal DNSCache。

4. 單擊ACK NodeLocal DNSCache的安裝，在彈出的對話方塊中單擊確定。

方式二：通過應用目錄安裝NodeLocal DNSCache

1. 登入Container Service管理主控台，在左側導覽列選擇市場 > 應用市場。

2. 在應用市場頁面單擊應用目錄頁簽，然後搜尋並選中ack-node-local-dns。

3. 在ack-node-local-dns頁面，單擊一鍵部署。

4. 在建立面板中，選擇叢集和命名空間，然後單擊下一步。

5. 在參數配置頁面，設定相應參數，然後單擊確定。

   需設定的參數說明如下表。

   參數	描述	擷取路徑
   upstream_ip	kube-system命名空間下 kube-dns服務的ClusterIP。NodeLocal DNSCache通過該服務與CoreDNS通訊來解析叢集內網域名稱。	如果您需要指定不同的上遊DNS伺服器，可以修改此參數。
   clusterDomain	叢集主網域名稱。	查看節點上kubelet進程的--cluster-domain參數，預設為cluster.local。

在應用中使用NodeLocal DNSCache

方式一：配置DNSConfig自動注入

kubectl label namespace default node-local-dns-injection=enabled

dnsConfig:
  nameservers:
  - 169.254.20.10
  - 172.21.0.10
  options:
  - name: ndots
    value: "3"
  - name: attempts
    value: "2"
  - name: timeout
    value: "1"
  searches:
  - default.svc.cluster.local
  - svc.cluster.local
  - cluster.local
dnsPolicy: None

Pod在同時滿足以下條件時，才會自動注入DNS緩衝。如果您的Pod容器未注入DNS快取服務器的IP地址，請檢查Pod是否未滿足以下條件。

• 建立Pod不位於kube-system和kube-public命名空間。

• 建立Pod所在命名空間的Labels標籤包含node-local-dns-injection=enabled。

• 建立Pod所在命名空間的Labels不包含ECI Pod相關標籤，例如virtual-node-affinity-injection、eci、alibabacloud.com/eci等。

• 建立Pod沒有被打上eci、alibabacloud.com/eci等ECI相關標籤，或打上禁用DNS注入node-local-dns-injection=disabled標籤。

• 建立Pod的網路為hostNetwork且DNSPolicy為ClusterFirstWithHostNet，或Pod為非hostNetwork且DNSPolicy為ClusterFirst。

方式二：手動指定DNSConfig

apiVersion: v1
kind: Pod
metadata:
  name: alpine
  namespace: default
spec:
  containers:
  - image: alpine
    command:
      - sleep
      - "10000"
    imagePullPolicy: Always
    name: alpine
  dnsPolicy: None
  dnsConfig:
    nameservers: ["169.254.20.10","172.21.0.10"]
    searches:
    - default.svc.cluster.local
    - svc.cluster.local
    - cluster.local
    options:
    - name: ndots
      value: "3"
    - name: attempts
      value: "2"
    - name: timeout 
      value: "1"

方式三：配置kubelet啟動參數

--cluster-dns=169.254.20.10 --cluster-dns=<kube-dns ip> --cluster-domain=<search domain>

配置應用使用NodeLocal DNSCache樣本

通過在default命名空間下部署Deployment類型樣本應用，示範如何配置應用使用NodeLocal DNSCache。

1. 執行以下命令，給接入NodeLocal DNSCache的應用所在的命名空間（default）設定標籤。

   kubectl label namespace default node-local-dns-injection=enabled

   重要

   Admission Controller會忽略kube-system和kube-public命名空間下的應用，請勿在這兩個命名空間下進行自動注入dnsConfig操作。

2. 在叢集的default命名空間下部署樣本應用。

   1. 使用以下YAML模板建立名為ubuntu-deployment的樣本應用。

      apiVersion: apps/v1 # for versions before 1.8.0 use apps/v1beta1
      kind: Deployment
      metadata:
        name: ubuntu
        labels:
          app: ubuntu
      spec:
        replicas: 2
        selector:
          matchLabels:
            app: ubuntu
        template:
          metadata:
            labels:
              app: ubuntu
          spec:
            containers:
            - name: ubuntu
              image: ubuntu
              command: ["sh", "-c"]
              args: ["sleep 100000"]

   2. 執行以下命令，使樣本應用在叢集中生效。

      kubectl apply -f ubuntu-deployment.yaml

      預期輸出：

      deployment.apps/ubuntu created

   3. 執行以下命令，查看應用資訊。

      kubectl get deployment ubuntu

      預期輸出：

      NAME     READY   UP-TO-DATE   AVAILABLE   AGE
      ubuntu   2/2     2            2           7s

3. 查看是否成功注入dnsConfig。

   1. 執行以下命令，查看Pod資訊。

      kubectl get pods

      預期輸出：

      NAME                      READY   STATUS    RESTARTS   AGE
      ubuntu-766448f68c-m****   1/1     Running   0          4m39s
      ubuntu-766448f68c-w****   1/1     Running   0          4m39s

   2. 執行以下命令，查看Pod的dnsConfig是否已經接入NodeLocal DNSCache。

      kubectl get pod ubuntu-766448f68c-m**** -o=jsonpath='{.spec.dnsConfig}'

      預期輸出：

      map[nameservers:[169.254.20.10 172.21.0.10] options:[map[name:ndots value:5]] searches:[default.svc.cluster.local svc.cluster.local cluster.local]]

      當輸出以上內容時，說明成功為應用接入NodeLocal DNSCache。

      開啟自動注入後，您建立的Pod會被增加以下欄位，為了最大程度上保證業務DNS請求高可用，nameservers中會額外加入kube-dns服務的ClusterIP地址（172.21.0.10）作為備份的DNS伺服器。

        dnsConfig:
          nameservers:
          - 169.254.20.10
          - 172.21.0.10
          options:
          - name: ndots
            value: "3"
          - name: attempts
            value: "2"
          - name: timeout
            value: "1"
          searches:
          - default.svc.cluster.local
          - svc.cluster.local
          - cluster.local
        dnsPolicy: None

升級NodeLocal DNSCache

如果您是在組件管理頁面安裝NodeLocal DNSCache，您需要在組件管理頁面升級NodeLocal DNSCache。如果您是在應用目錄頁面安裝NodeLocal DNSCache，您需要在Helm頁面卸載NodeLocal DNSCache，然後再重新安裝NodeLocal DNSCache。

通過組件管理頁面升級NodeLocal DNSCache

1. 登入Container Service管理主控台，在左側導覽列選擇叢集。

2. 在叢集列表頁面，單擊目的地組群名稱，然後在左側導覽列，選擇營運管理 > 組件管理。

3. 在組件管理頁面單擊NodeLocal DNSCache下的升級，在彈出的對話方塊中單擊確定。

   說明

   • 若您對node-local-dns DaemonSet進行過汙點容忍等修改操作，升級時汙點容忍等操作將會被覆蓋，升級後需要再次設定。

   • 如果升級NodeLocal DNSCache失敗，您需要根據操作異常碼尋找對應的問題，查看問題原因和解決方案。詳細描述，請參見組件異常問題排查。

通過應用目錄頁面升級NodeLocal DNSCache

如果您是通過應用目錄頁面安裝NodeLocal DNSCache，您可以先卸載NodeLocal DNSCache，再重新安裝。具體操作，請參見卸載NodeLocal DNSCache和安裝NodeLocal DNSCache。

卸載NodeLocal DNSCache

如果您是在組件管理頁面安裝NodeLocal DNSCache，您需要在組件管理頁面卸載NodeLocal DNSCache。如果您是在應用目錄頁面安裝NodeLocal DNSCache，您需要在Helm頁面卸載NodeLocal DNSCache。

通過組件管理頁面卸載NodeLocal DNSCache

1. 登入Container Service管理主控台，在左側導覽列選擇叢集。

2. 在叢集列表頁面，單擊目的地組群名稱，然後在左側導覽列，選擇營運管理 > 組件管理。

3. 在組件管理頁面單擊NodeLocal DNSCache下的卸載，在彈出的對話方塊中單擊確定。

   說明

   卸載後所有解析流量會請求至CoreDNS，建議提前對CoreDNS副本數進行擴容。

通過應用目錄頁面卸載NodeLocal DNSCache

1. 卸載前檢查。

   1. 登入Container Service管理主控台，在左側導覽列選擇叢集。

   2. 在叢集列表頁面，單擊目的地組群名稱，然後在左側導覽列，選擇應用 > Helm。

   3. 在Helm頁面單擊ack-node-local-dns-default。

   4. 單擊參數配置頁簽，檢查參數。

      • 如果本地監聽IP地址（local_dns_ip）等同於kube-dns的ClusterIP地址，則您可以執行步驟2卸載NodeLocal DNSCache。

      • 如果高可用開關（high_availability）為開啟狀態，且本地監聽IP地址（local_dns_ip）為169.254.20.10。則您可以執行步驟2卸載NodeLocal DNSCache。

      • 如果參數不滿足以上條件，請按照以下流程進行卸載：

        1. 執行kubectl get ns -o yaml命令，檢查哪些命名空間被打上了node-local-dns-injection=enabled的標籤，並將標籤刪除。

        2. 執行kubectl get pod -o yaml命令，檢查哪些業務Pod被注入DNSConfig，刪除這些Pod並重建。

        3. 執行步驟2卸載NodeLocal DNSCache。

2. 卸載NodeLocal DNSCache。

   1. 在控制台左側導覽列，單擊叢集。

   2. 在叢集列表頁面，單擊目的地組群名稱，然後在左側導覽列，選擇應用 > Helm。

   3. 在Helm頁面單擊ack-node-local-dns-default操作列的刪除，在彈出的對話方塊中選中清除發布記錄，然後單擊確定。

修改Terway配置

1. 執行以下命令，查看Terway設定檔。

   kubectl -n kube-system edit cm eni-config -o yaml

2. 檢查Terway設定檔。

   • 檢查設定檔中eniip_virtual_type欄位是否開啟IPVLAN模式。如果設定檔中此項不存在或不是IPVLAN，則您不需要按後續步驟進行配置，可以直接安裝NodeLocal DNSCache。具體操作，請參見安裝NodeLocal DNSCache。

   • 檢查設定檔中是否已配置host_stack_cidrs欄位。如果設定檔中已配置host_stack_cidrs 欄位，則您不需要按後續步驟進行配置，可以直接安裝NodeLocal DNSCache。具體操作，請參見安裝NodeLocal DNSCache。

3. 在Terway設定檔中添加host_stack_cidrs欄位，並輸入網段169.254.20.10/32，儲存並退出。

    10-terway.conf: |
     {
       "cniVersion": "0.3.0",
       "name": "terway",
       "eniip_virtual_type": "IPVlan",
       "host_stack_cidrs": ["169.254.20.10/32"], 
       "type": "terway"
     }

4. 執行以下命令，查看當前Terway的所有DaemonSet容器組。

   kubectl -n kube-system get pod | grep terway-eniip

   預期輸出：

   terway-eniip-7****         2/2     Running   0          30m
   terway-eniip-s****         2/2     Running   0          30m

5. 執行以下命令，觸發Terway容器組重建。

    kubectl -n kube-system delete pod terway-eniip-7**** terway-eniip-s****

6. 登入任意叢集節點，執行以下命令，查看Terway設定檔。

   如果Terway設定檔包含添加的網段，則說明配置成功。

   cat /etc/cni/net.d/*

   預期輸出：

    {
      "cniVersion": "0.3.0",
      "name": "terway-chainer",
      "plugins": [
        {
          "eniip_virtual_type": "IPVlan",
          "host_stack_cidrs": [ 
            "169.254.20.10/32",
          ],
          "type": "terway"
        },
        {
          "type": "cilium-cni"
        }
      ]
    }

   所有Terway Pod重建並正常後，您可以繼續安裝NodeLocal DNSCache了。