容器服务 Kubernetes 版 ACK：使用NodeLocal DNSCache

使用限制

• NodeLocal DNSCache不支持ACK Serverless集群、以及托管版、专有版集群中部署的ECI类型的Pod。

• 如果集群网络类型为Terway，请更新Terway至v1.0.10.301及以上版本。如果是基于IPVLAN的Terway多IP模式，需要对Terway进行配置修改。更多信息，请参见修改Terway配置。

• 组件管理中的NodeLocal DNSCache和应用目录中的ack-node-local-dns为同一应用，不需要重复安装。

• NodeLocal DNSCache不提供Hosts、Rewrite等插件能力，仅作为CoreDNS的透明缓存代理。如有需要，可在CoreDNS配置中修改。

• 使用NodeLocal DNSCache前，您需要对CoreDNS配置进行修改，否则可能导致集群外部域名解析异常。具体操作，请参见配置Forward插件与上游VPC DNS服务器的默认协议。

NodeLocal DNSCache简介

关于NodeLocal DNSCache的缓存策略，请参见DNS解析及缓存策略说明。

图 1. NodeLocal DNSCache工作原理图

安装NodeLocal DNSCache

您可以通过组件管理或者应用目录页面安装NodeLocal DNSCache，建议您通过组件管理安装NodeLocal DNSCache。

方式一：通过组件管理安装NodeLocal DNSCache

1. 登录容器服务管理控制台，在左侧导航栏选择集群。

2. 在集群列表页面，选择目标集群名称或者目标集群右侧操作列下的更多 > 运维管理 > 组件管理。

3. 在组件管理页面，单击网络页签，找到ACK NodeLocal DNSCache。

4. 单击ACK NodeLocal DNSCache的安装，在弹出的对话框中单击确定。

方式二：通过应用目录安装NodeLocal DNSCache

1. 登录容器服务管理控制台，在左侧导航栏选择市场 > 应用市场。

2. 在应用市场页面单击应用目录页签，然后搜索并选中ack-node-local-dns。

3. 在ack-node-local-dns页面，单击一键部署。

4. 在创建面板中，选择集群和命名空间，然后单击下一步。

5. 在参数配置页面，设置相应参数，然后单击确定。

   需设置的参数说明如下表。

   参数	描述	获取路径
   upstream_ip	kube-system命名空间下 kube-dns服务的ClusterIP。NodeLocal DNSCache通过该服务与CoreDNS通信来解析集群内域名。	如果您需要指定不同的上游DNS服务器，可以修改此参数。
   clusterDomain	集群主域名。	查看节点上kubelet进程的--cluster-domain参数，默认为cluster.local。

在应用中使用NodeLocal DNSCache

方式一：配置DNSConfig自动注入

kubectl label namespace default node-local-dns-injection=enabled

dnsConfig:
  nameservers:
  - 169.254.20.10
  - 172.21.0.10
  options:
  - name: ndots
    value: "3"
  - name: attempts
    value: "2"
  - name: timeout
    value: "1"
  searches:
  - default.svc.cluster.local
  - svc.cluster.local
  - cluster.local
dnsPolicy: None

Pod在同时满足以下条件时，才会自动注入DNS缓存。如果您的Pod容器未注入DNS缓存服务器的IP地址，请检查Pod是否未满足以下条件。

• 新建Pod不位于kube-system和kube-public命名空间。

• 新建Pod所在命名空间的Labels标签包含node-local-dns-injection=enabled。

• 新建Pod所在命名空间的Labels不包含ECI Pod相关标签，例如virtual-node-affinity-injection、eci、alibabacloud.com/eci等。

• 新建Pod没有被打上eci、alibabacloud.com/eci等ECI相关标签，或打上禁用DNS注入node-local-dns-injection=disabled标签。

• 新建Pod的网络为hostNetwork且DNSPolicy为ClusterFirstWithHostNet，或Pod为非hostNetwork且DNSPolicy为ClusterFirst。

方式二：手动指定DNSConfig

apiVersion: v1
kind: Pod
metadata:
  name: alpine
  namespace: default
spec:
  containers:
  - image: alpine
    command:
      - sleep
      - "10000"
    imagePullPolicy: Always
    name: alpine
  dnsPolicy: None
  dnsConfig:
    nameservers: ["169.254.20.10","172.21.0.10"]
    searches:
    - default.svc.cluster.local
    - svc.cluster.local
    - cluster.local
    options:
    - name: ndots
      value: "3"
    - name: attempts
      value: "2"
    - name: timeout 
      value: "1"

方式三：配置kubelet启动参数

--cluster-dns=169.254.20.10 --cluster-dns=<kube-dns ip> --cluster-domain=<search domain>

配置应用使用NodeLocal DNSCache示例

通过在default命名空间下部署Deployment类型示例应用，演示如何配置应用使用NodeLocal DNSCache。

1. 执行以下命令，给接入NodeLocal DNSCache的应用所在的命名空间（default）设置标签。

   kubectl label namespace default node-local-dns-injection=enabled

   重要

   Admission Controller会忽略kube-system和kube-public命名空间下的应用，请勿在这两个命名空间下进行自动注入dnsConfig操作。

2. 在集群的default命名空间下部署示例应用。

   1. 使用以下YAML模板创建名为ubuntu-deployment的示例应用。

      apiVersion: apps/v1 # for versions before 1.8.0 use apps/v1beta1
      kind: Deployment
      metadata:
        name: ubuntu
        labels:
          app: ubuntu
      spec:
        replicas: 2
        selector:
          matchLabels:
            app: ubuntu
        template:
          metadata:
            labels:
              app: ubuntu
          spec:
            containers:
            - name: ubuntu
              image: ubuntu
              command: ["sh", "-c"]
              args: ["sleep 100000"]

   2. 执行以下命令，使示例应用在集群中生效。

      kubectl apply -f ubuntu-deployment.yaml

      预期输出：

      deployment.apps/ubuntu created

   3. 执行以下命令，查看应用信息。

      kubectl get deployment ubuntu

      预期输出：

      NAME     READY   UP-TO-DATE   AVAILABLE   AGE
      ubuntu   2/2     2            2           7s

3. 查看是否成功注入dnsConfig。

   1. 执行以下命令，查看Pod信息。

      kubectl get pods

      预期输出：

      NAME                      READY   STATUS    RESTARTS   AGE
      ubuntu-766448f68c-m****   1/1     Running   0          4m39s
      ubuntu-766448f68c-w****   1/1     Running   0          4m39s

   2. 执行以下命令，查看Pod的dnsConfig是否已经接入NodeLocal DNSCache。

      kubectl get pod ubuntu-766448f68c-m**** -o=jsonpath='{.spec.dnsConfig}'

      预期输出：

      map[nameservers:[169.254.20.10 172.21.0.10] options:[map[name:ndots value:5]] searches:[default.svc.cluster.local svc.cluster.local cluster.local]]

      当输出以上内容时，说明成功为应用接入NodeLocal DNSCache。

      开启自动注入后，您创建的Pod会被增加以下字段，为了最大程度上保证业务DNS请求高可用，nameservers中会额外加入kube-dns服务的ClusterIP地址（172.21.0.10）作为备份的DNS服务器。

        dnsConfig:
          nameservers:
          - 169.254.20.10
          - 172.21.0.10
          options:
          - name: ndots
            value: "3"
          - name: attempts
            value: "2"
          - name: timeout
            value: "1"
          searches:
          - default.svc.cluster.local
          - svc.cluster.local
          - cluster.local
        dnsPolicy: None

升级NodeLocal DNSCache

如果您是在组件管理页面安装NodeLocal DNSCache，您需要在组件管理页面升级NodeLocal DNSCache。如果您是在应用目录页面安装NodeLocal DNSCache，您需要在Helm页面卸载NodeLocal DNSCache，然后再重新安装NodeLocal DNSCache。

通过组件管理页面升级NodeLocal DNSCache

1. 登录容器服务管理控制台，在左侧导航栏选择集群。

2. 在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择运维管理 > 组件管理。

3. 在组件管理页面单击NodeLocal DNSCache下的升级，在弹出的对话框中单击确定。

   说明

   • 若您对node-local-dns DaemonSet进行过污点容忍等修改操作，升级时污点容忍等操作将会被覆盖，升级后需要再次设置。

   • 如果升级NodeLocal DNSCache失败，您需要根据操作异常码查找对应的问题，查看问题原因和解决方案。详细描述，请参见组件异常问题排查。

通过应用目录页面升级NodeLocal DNSCache

如果您是通过应用目录页面安装NodeLocal DNSCache，您可以先卸载NodeLocal DNSCache，再重新安装。具体操作，请参见卸载NodeLocal DNSCache和安装NodeLocal DNSCache。

卸载NodeLocal DNSCache

如果您是在组件管理页面安装NodeLocal DNSCache，您需要在组件管理页面卸载NodeLocal DNSCache。如果您是在应用目录页面安装NodeLocal DNSCache，您需要在Helm页面卸载NodeLocal DNSCache。

通过组件管理页面卸载NodeLocal DNSCache

1. 登录容器服务管理控制台，在左侧导航栏选择集群。

2. 在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择运维管理 > 组件管理。

3. 在组件管理页面单击NodeLocal DNSCache下的卸载，在弹出的对话框中单击确定。

   说明

   卸载后所有解析流量会请求至CoreDNS，建议提前对CoreDNS副本数进行扩容。

通过应用目录页面卸载NodeLocal DNSCache

1. 卸载前检查。

   1. 登录容器服务管理控制台，在左侧导航栏选择集群。

   2. 在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择应用 > Helm。

   3. 在Helm页面单击ack-node-local-dns-default。

   4. 单击参数配置页签，检查参数。

      • 如果本地监听IP地址（local_dns_ip）等同于kube-dns的ClusterIP地址，则您可以执行步骤2卸载NodeLocal DNSCache。

      • 如果高可用开关（high_availability）为打开状态，且本地监听IP地址（local_dns_ip）为169.254.20.10。则您可以执行步骤2卸载NodeLocal DNSCache。

      • 如果参数不满足以上条件，请按照以下流程进行卸载：

        1. 执行kubectl get ns -o yaml命令，检查哪些命名空间被打上了node-local-dns-injection=enabled的标签，并将标签删除。

        2. 执行kubectl get pod -o yaml命令，检查哪些业务Pod被注入DNSConfig，删除这些Pod并重建。

        3. 执行步骤2卸载NodeLocal DNSCache。

2. 卸载NodeLocal DNSCache。

   1. 在控制台左侧导航栏，单击集群。

   2. 在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择应用 > Helm。

   3. 在Helm页面单击ack-node-local-dns-default操作列的删除，在弹出的对话框中选中清除发布记录，然后单击确定。

修改Terway配置

1. 执行以下命令，查看Terway配置文件。

   kubectl -n kube-system edit cm eni-config -o yaml

2. 检查Terway配置文件。

   • 检查配置文件中eniip_virtual_type字段是否开启IPVLAN模式。如果配置文件中此项不存在或不是IPVLAN，则您不需要按后续步骤进行配置，可以直接安装NodeLocal DNSCache。具体操作，请参见安装NodeLocal DNSCache。

   • 检查配置文件中是否已配置host_stack_cidrs字段。如果配置文件中已配置host_stack_cidrs 字段，则您不需要按后续步骤进行配置，可以直接安装NodeLocal DNSCache。具体操作，请参见安装NodeLocal DNSCache。

3. 在Terway配置文件中添加host_stack_cidrs字段，并输入网段169.254.20.10/32，保存并退出。

    10-terway.conf: |
     {
       "cniVersion": "0.3.0",
       "name": "terway",
       "eniip_virtual_type": "IPVlan",
       "host_stack_cidrs": ["169.254.20.10/32"], 
       "type": "terway"
     }

4. 执行以下命令，查看当前Terway的所有DaemonSet容器组。

   kubectl -n kube-system get pod | grep terway-eniip

   预期输出：

   terway-eniip-7****         2/2     Running   0          30m
   terway-eniip-s****         2/2     Running   0          30m

5. 执行以下命令，触发Terway容器组重建。

    kubectl -n kube-system delete pod terway-eniip-7**** terway-eniip-s****

6. 登录任意集群节点，执行以下命令，查看Terway配置文件。

   如果Terway配置文件包含添加的网段，则说明配置成功。

   cat /etc/cni/net.d/*

   预期输出：

    {
      "cniVersion": "0.3.0",
      "name": "terway-chainer",
      "plugins": [
        {
          "eniip_virtual_type": "IPVlan",
          "host_stack_cidrs": [ 
            "169.254.20.10/32",
          ],
          "type": "terway"
        },
        {
          "type": "cilium-cni"
        }
      ]
    }

   所有Terway Pod重建并正常后，您可以继续安装NodeLocal DNSCache了。