容器服务 Kubernetes 版 ACK：使用NAS动态存储卷

kubectl

1、创建存储类StorageClass

1. 保存以下内容至alicloud-nas-subpath.yaml文件，并根据需求修改相关参数。

   allowVolumeExpansion: true
   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: alicloud-nas-subpath
   mountOptions:
   - nolock,tcp,noresvport
   - vers=3
   parameters:
     volumeAs: subpath
     server: "0cd8b4a576-g****.cn-hangzhou.nas.aliyuncs.com:/k8s/"
   provisioner: nasplugin.csi.alibabacloud.com
   reclaimPolicy: Retain

   参数	描述
   allowVolumeExpansion	仅通用型NAS文件系统支持设置此参数。开启时，该StorageClass动态创建的PV将会被配置NAS目录配额，并支持通过编辑PVC进行卷容量扩容。 说明 NAS配额的生效是异步的，即动态创建出PV后，目录配额不能保证立即生效，且快速连续写入大量数据可能会超出设置的容量上限。关于NAS目录配额的更多信息，请参见目录配额。
   mountOptions	挂载NAS的options参数在mountOptions中配置，包括NFS协议版本。
   volumeAs	设置为subpath。取值： subpath：表示创建子目录类型的PV。您需要手动创建NAS文件系统以及挂载点。一个PV对应一个NAS文件系统的子目录。 sharepath：表示创建PV时不会创建实际的目录，将会直接使用StorageClass中设置的路径，这意味着每个PV实际上会对应同一个NAS目录，便于跨Namespace共享目录的使用场景。 filesystem：表示Provisioner会自动创建NAS文件系统，一个PV对应一个NAS文件系统。
   server	表示创建子目录类型的PV时，NAS文件系统的挂载点地址，不设置则默认为/。 重要 此处需替换为实际的挂载点地址，关于如何查看挂载点地址，请参见查看挂载点地址。
   provisioner	驱动类型。本例中取值为nasplugin.csi.alibabacloud.com，表示使用阿里云NAS CSI插件。
   reclaimPolicy	PV的回收策略，默认为Delete，支持Retain。 Delete模式：需配合archiveOnDelete一起使用。 当archiveOnDelete为true时，删除PVC时，PV和NAS文件只会被重命名，不会被删除。 当archiveOnDelete为false时，删除PVC时，PV和NAS文件会被真正删除。 Retain模式：删除PVC的时候，PV和NAS文件系统不会被删除，需要您手动删除。 如果数据安全性要求高，推荐使用Retain方式以免误删数据。
   archiveOnDelete	表示在reclaimPolicy为Delete时，是否删除后端存储。因为NAS为共享存储，添加此选项进行双重确认。在参数parameters下配置。 true（默认）：不会真正删除目录或文件，而是将其重命名，格式为archived-{pvName}.{timestamp}。 false：会真正删除后端对应的存储资源。 说明 业务流量非常大时，不建议配置为false。更多信息，请参见使用NAS动态存储卷时Controller的任务队列已满且无法创建新的PV。

2. 执行以下命令创建StorageClass。

   kubectl create -f alicloud-nas-subpath.yaml

2、创建PVC

1. 保存以下内容至pvc.yaml文件，并根据需求修改相关参数。

   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata: 
     name: nas-csi-pvc
   spec:
     accessModes:
     - ReadWriteMany 
     storageClassName: alicloud-nas-subpath
     resources: 
       requests:
         storage: 20Gi

   参数	说明
   name	PVC名称。
   accessModes	配置访问模式。默认为ReadWriteMany，支持ReadWriteOnce或ReadOnlyMany。
   storageClassName	StorageClass的名称，用于绑定StorageClass。
   storage	声明应用存储使用量。 重要 NAS配置PVC的容量仅在文件系统类型为通用型NAS，且StorageClass设置allowVolumeExpansion为true时才会生效。此时，CSI将按照PVC容量设置NAS目录配额。NAS目录配额单位为GiB，实际设置的容量上限为PVC容量按GiB单位向上取整。

2. 创建PVC。

   kubectl create -f pvc.yaml

3、创建应用并挂载NAS

创建应用nginx-1和nginx-2，使其共享同一个NAS文件系统的同一个子目录。

1. 保存以下内容至nginx-1.yaml文件中。

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: deployment-nas-1
     labels:
       app: nginx-1
   spec:
     selector:
       matchLabels:
         app: nginx-1
     template:
       metadata:
         labels:
           app: nginx-1
       spec:
         containers:
         - name: nginx
           image: anolis-registry.cn-zhangjiakou.cr.aliyuncs.com/openanolis/nginx:1.14.1-8.6
           ports:
           - containerPort: 80
           volumeMounts:
             - name: nas-pvc
               mountPath: "/data"
         volumes:
           - name: nas-pvc
             persistentVolumeClaim:
               claimName: nas-csi-pvc

   • mountPath：NAS在容器中挂载的位置。

   • claimName：PVC的名称，用于绑定PVC。本例中为nas-csi-pvc。

2. 保存以下内容至nginx-2.yaml文件中。

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: deployment-nas-2
     labels:
       app: nginx-2
   spec:
     selector:
       matchLabels:
         app: nginx-2
     template:
       metadata:
         labels:
           app: nginx-2
       spec:
         containers:
         - name: nginx
           image: anolis-registry.cn-zhangjiakou.cr.aliyuncs.com/openanolis/nginx:1.14.1-8.6
           ports:
           - containerPort: 80
           volumeMounts:
             - name: nas-pvc
               mountPath: "/data"
         volumes:
           - name: nas-pvc
             persistentVolumeClaim:
               claimName: nas-csi-pvc

   • mountPath：NAS在容器中挂载的位置。本例为/data。

   • claimName：输入与nginx-1应用相同的PVC名称，本例为nas-csi-pvc。

3. 创建应用nginx-1和nginx-2。

   kubectl create -f nginx-1.yaml -f nginx-2.yaml

4. 查看Pod信息。

   kubectl get pod

   预期输出：

   NAME                                READY   STATUS    RESTARTS   AGE
   deployment-nas-1-5b5cdb85f6-a****   1/1     Running   0          32s
   deployment-nas-2-c5bb4746c-b****    1/1     Running   0          32s

   为不同的Pod挂载同一个NAS文件系统的同一个子目录/data，即挂载点为0cd8b4a576-g****.cn-hangzhou.nas.aliyuncs.com:/k8s/nas-79438493-f3e0-11e9-bbe5-00163e09****的NAS存储卷已同时挂载到应用deployment-nas-1-5b5cdb85f6-a****和deployment-nas-2-c5bb4746c-b****的/data目录下。其中：

   • /k8s为StorageClass中指定的subpath。

   • nas-79438493-f3e0-11e9-bbe5-00163e09****为自动创建的NAS存储卷PV的名称。

   说明

   如果需要为不同的Pod挂载同一个NAS文件系统的不同子目录，则需要分别创建pvc-1和nginx-1以及pvc-2和nginx-2。

控制台

1、创建存储类StorageClass

1. 登录容器服务管理控制台，在左侧导航栏选择集群。

2. 在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择存储 > 存储类。

3. 在存储类页面，单击右上角的创建。

4. 在创建对话框中，StorageClass的相关配置完成后，单击创建。

   主要配置项如下所示。

   配置项	说明	示例值
   名称	StorageClass的名称。 名称必须以小写字母开头，只能包含小写字母、数字、小数点（.）和中划线（-）。	alicloud-nas-subpath
   存储卷类型	选择NAS。	NAS
   选择挂载点	NAS文件系统的挂载点地址。关于如何查看挂载点地址，请参见查看挂载点地址。 若无可选的挂载点地址，请先创建NAS文件系统。具体操作，请参见创建NAS文件系统和挂载点。	0cd8b4a576-g****.cn-hangzhou.nas.aliyuncs.com:/k8s/
   存储卷模式	存储卷访问模式。默认为共享目录模式。取值： 共享目录：即Sharepath方式挂载，所有存储卷共享挂载路径，即数据将存储于<bucket>:<path>/下。 子目录：即Subpath方式挂载，创建存储卷时在挂载路径下自动新建子目录，即数据将存储于<bucket>:<path>/<pv-name>/下。 说明 子目录模式仅在CSI组件为1.31.4及以上版本时生效，否则均为共享目录模式。	子目录
   挂载路径	NAS文件系统中的挂载路径。 如果NAS根目录下没有此子目录，会默认创建后再进行挂载。 您可以不填此项，默认挂载到NAS根目录。 极速型NAS需要以/share为根目录，例如/share/data。	/
   回收策略	回收策略。支持Delete和Retain模式， 默认为Delete模式。 Delete模式：需配合archiveOnDelete一起使用。 当archiveOnDelete为true时，删除PVC时，PV和NAS文件只会被重命名，不会被删除。 当archiveOnDelete为false时，删除PVC时，PV和NAS文件会被真正删除。 Retain模式：删除PVC时，PV和NAS文件系统不会被删除，需要您手动删除。 如果对数据安全性要求较高，推荐使用Retain模式，以免误删数据。	Retain
   挂载选项	挂载NAS的可选参数，包括NFS协议版本等。 NFS协议版本号推荐使用v3，且极速类型NAS仅支持v3。关于NFS协议的更多信息，请参见NFS协议。	保持默认

   创建成功后，可在存储类列表查看创建的StorageClass。

2、创建PVC

1. 在集群管理页左侧导航栏，选择存储 > 存储声明。

2. 在存储声明页面，单击右上角的创建。

3. 在弹出的创建存储声明页面中，配置完成后，单击创建。

   配置项	说明	示例值
   存储声明类型	选择NAS。	NAS
   名称	创建的存储声明名称在集群内必须唯一。	pvc-nas
   分配模式	本文中选择使用存储类动态创建。	使用存储类动态创建
   已有存储类	单击选择存储类，在选择存储类对话框目标存储类右侧操作列单击选择。	选择上一步创建的alicloud-nas-subpath存储类
   总量	创建存储卷的容量，此处设置的大小不会限制应用可使用的最大容量。	20Gi
   访问模式	默认为ReadWriteMany，也可选择ReadWriteOnce或ReadOnlyMany。	ReadWriteMany

3、创建应用并挂载NAS

参考以下操作，分别创建应用 deployment-nas-1和 deployment-nas-2，使其共享同一个NAS文件系统的同一个子目录。

1. 在集群管理页左侧导航栏，选择工作负载 > 无状态。

2. 在无状态页面，单击使用镜像创建。

3. 配置创建应用的参数信息。

   主要参数如下，其他参数保持默认即可。更多信息，请参见创建无状态工作负载Deployment。

   配置项	参数	说明	示例
   应用基本信息	应用名称	Deployment名称，自定义输入。格式要求请参考界面提示。	deployment-nas-1
   	副本数量	Deployment的副本数量。	2
   容器配置	镜像名称	用于部署应用的镜像地址。	anolis-registry.cn-zhangjiakou.cr.aliyuncs.com/openanolis/nginx:1.14.1-8.6
   	所需资源	所需的vCPU和内存资源。	0.25 vCPU，0.5 GiB
   	数据卷	单击增加云存储声明，然后完成参数配置。 挂载源：选择之前创建的PVC。 容器路径：输入NAS文件系统要挂载到的容器路径。	挂载源：pvc-nas 容器路径：/data

4. 查看应用部署状态。

   1. 在无状态页面，单击应用名称。

   2. 在容器组页签下，确认Pod已正常运行（状态为Running）。

kubectl

1、创建存储类StorageClass

1. 保存以下内容至alicloud-nas-subpath.yaml文件，并根据需求修改相关参数。

   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: alicloud-nas-sharepath
   mountOptions:
   - nolock,tcp,noresvport
   - vers=3
   parameters:
     volumeAs: sharepath
     server: "0cd8b4a576-g****.cn-hangzhou.nas.aliyuncs.com:/data"
   provisioner: nasplugin.csi.alibabacloud.com
   reclaimPolicy: Retain

   参数	描述
   mountOptions	挂载NAS的可选参数，包括NFS协议版本等。 NFS协议版本号推荐使用v3，且极速类型NAS仅支持v3。关于NFS协议的更多信息，请参见NFS协议。
   volumeAs	设置为sharepath。取值： subpath：表示创建子目录类型的PV。您需要手动创建NAS文件系统以及挂载点。一个PV对应一个NAS文件系统的子目录。 sharepath：表示创建PV时不会创建实际的目录，将会直接使用StorageClass里设置的路径，这意味着每个PV实际上会对应同一个NAS目录，便于跨namespace共享目录使用场景。 filesystem：表示Provisioner会自动创建NAS文件系统，一个PV对应一个NAS文件系统。
   server	表示创建子目录类型的PV时，NAS文件系统的挂载点地址以及路径，不设置路径则默认为/。 重要 此处需替换为实际的挂载点地址，关于如何查看挂载点地址，请参见查看挂载点地址。
   provisioner	驱动类型。此处须配置为nasplugin.csi.alibabacloud.com，表示使用阿里云NAS CSI组件。
   reclaimPolicy	使用 sharepath时必须要设置为 Retain。

2. 创建StorageClass。

   kubectl create -f alicloud-nas-sharepath.yaml

2、在两个不同命名空间下创建PVC

为实现跨命名空间下Pod的挂载NAS，您需要先创建两个不同的命名空间。

1. 执行以下命令，创建命名空间ns1和ns2。

   kubectl create ns ns1
   kubectl create ns ns2

2. 保存以下内容至pvc.yaml文件，并根据需求修改相关参数。

   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata: 
     name: nas-csi-pvc
     namespace: ns1
   spec:
     accessModes:
     - ReadWriteMany 
     storageClassName: alicloud-nas-sharepath
     resources: 
       requests:
         storage: 20Gi
   ---
   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata: 
     name: nas-csi-pvc
     namespace: ns2
   spec:
     accessModes:
     - ReadWriteMany 
     storageClassName: alicloud-nas-sharepath
     resources: 
       requests:
         storage: 20Gi

   参数	说明
   name	PVC名称。
   accessModes	配置访问模式。默认为ReadWriteMany，支持ReadWriteOnce或ReadOnlyMany。
   storageClassName	StorageClass的名称，用于绑定StorageClass。
   storage	声明应用存储使用量。 重要 使用sharepath时，声明不会实际产生效果。

3. 创建PVC。

   kubectl create -f pvc.yaml

3、创建应用并挂载

1. 在两个不同命名空间下分别创建应用，挂载相应命名空间下创建的PVC，它们将共享StorageClass中定义的NAS目录。

   1. 保存以下内容至nginx.yaml文件中，包含两个 Deployment。

      apiVersion: apps/v1
      kind: Deployment
      metadata:
        name: nginx
        namespace: ns1
      spec:
        selector:
          matchLabels:
            app: nginx
        template:
          metadata:
            labels:
              app: nginx
          spec:
            containers:
            - name: nginx
              image: anolis-registry.cn-zhangjiakou.cr.aliyuncs.com/openanolis/nginx:1.14.1-8.6
              ports:
              - containerPort: 80
              volumeMounts:
                - name: nas-pvc
                  mountPath: "/data"
            volumes:
              - name: nas-pvc
                persistentVolumeClaim:
                  claimName: nas-csi-pvc
      ---
      apiVersion: apps/v1
      kind: Deployment
      metadata:
        name: nginx
        namespace: ns2
      spec:
        selector:
          matchLabels:
            app: nginx
        template:
          metadata:
            labels:
              app: nginx
          spec:
            containers:
            - name: nginx
              image: anolis-registry.cn-zhangjiakou.cr.aliyuncs.com/openanolis/nginx:1.14.1-8.6
              ports:
              - containerPort: 80
              volumeMounts:
                - name: nas-pvc
                  mountPath: "/data"
            volumes:
              - name: nas-pvc
                persistentVolumeClaim:
                  claimName: nas-csi-pvc

      • mountPath：NAS在容器中挂载的位置。

      • claimName：PVC的名称，用于绑定PVC。本例中为nas-csi-pvc。

   2. 创建应用。

      kubectl create -f nginx.yaml

2. 查看Pod信息。

   kubectl get pod -A -l app=nginx

   预期输出：

   NAMESPACE  NAME                READY   STATUS    RESTARTS   AGE
   ns1      nginx-5b5cdb85f6-a****   1/1     Running   0          32s
   ns2      nginx-c5bb4746c-b****    1/1     Running   0          32s

   为不同命名空间的Pod挂载同一个NAS文件系统的同一个子目录/data，即挂载点为0cd8b4a576-g****.cn-hangzhou.nas.aliyuncs.com:/data的NAS存储卷已同时挂载到应用nginx-5b5cdb85f6-a****和nginx-c5bb4746c-b****的/data目录下。

控制台

验证NAS的持久化存储

1. 查看应用所在的Pod。

   kubectl get pod 

   预期输出：

   NAME                                READY   STATUS    RESTARTS   AGE
   deployment-nas-1-5b5cdb85f6-a****   1/1     Running   0          32s
   deployment-nas-2-c5bb4746c-b****    1/1     Running   0          32s

2. 在一个Pod中创建文件。

   1. 查看应用中挂载的/data路径下有无文件。

      以一个名为deployment-nas-1-5b5cdb85f6-a****的Pod为例。

      kubectl exec deployment-nas-1-5b5cdb85f6-a**** -- ls /data

      无返回结果，表明/data路径下无文件。

   2. 在该Pod的/data路径下创建文件nas。

      kubectl exec deployment-nas-1-5b5cdb85f6-a**** -- touch /data/nas

3. 在另一个Pod中查看建文件。

   以另一个名为deployment-nas-2-c5bb4746c-b****的Pod为例。

   kubectl exec deployment-nas-2-c5bb4746c-b**** -- ls /data

   预期输出：

   nas

4. 重建Pod。

   1. 删除Pod。

      kubectl delete pod deployment-nas-1-5b5cdb85f6-a****

   2. 同时在另一个窗口中，查看Pod删除及Kubernetes重建Pod的过程。

      kubectl get pod -w -l app=nginx

5. 验证删除Pod后，NAS里创建的文件是否还存在。

   1. 查看重建的Pod名称。

      kubectl get pod

      预期输出：

      NAME                                READY   STATUS    RESTARTS   AGE
      deployment-nas-1-5b5cdm2g5-c****    1/1     Running   0          32s
      deployment-nas-2-c5bb4746c-b****    1/1     Running   0          32s

   2. 查看重建Pod的/data路径下的文件。

      以名为deployment-nas-1-5b5cdm2g5-c**** 的Pod为例。

      kubectl exec deployment-nas-1-5b5cdm2g5-c**** -- ls /data

      预期输出：

      nas

      nas文件仍然存在，表明NAS的数据可持久化保存。

验证NAS的共享存储

NAS存储卷支持同时被多个Pod挂载，当某个Pod修改数据时，其余Pod将自行实现数据的同步，根据以下示例验证NAS存储卷的共享存储特性：

1. 查看部署的应用所在的Pod和NAS文件。

   1. 执行以下命令，查看应用所在的Pod名称。

      kubectl get pod 

      预期输出：

      NAME                                READY   STATUS    RESTARTS   AGE
      deployment-nas-1-5b5cdb85f6-a****   1/1     Running   0          32s
      deployment-nas-2-c5bb4746c-b****    1/1     Running   0          32s

   2. 查看2个Pod的/data路径下的文件。

      kubectl exec deployment-nas-1-5b5cdb85f6-a**** -- ls /data
      kubectl exec deployment-nas-2-c5bb4746c-b**** -- ls /data

      无返回结果，说明当前存储路径/data下无文件。

2. 在任意一个Pod的/data路径下创建文件nas。

   以名为deployment-nas-1-5b5cdb85f6-a****的Pod为例。

    kubectl exec deployment-nas-1-5b5cdb85f6-a**** -- touch /data/nas

3. 查看2个Pod的/data路径下的文件。

   1. 查看名为deployment-nas-1-5b5cdb85f6-a****的Pod的/data路径下的文件。

      kubectl exec deployment-nas-1-5b5cdb85f6-a**** -- ls /data

      预期输出：

      nas

   2. 查看另一个名为deployment-nas-2-c5bb4746c-b****的Pod的 /data路径下的文件。

      kubectl exec deployment-nas-2-c5bb4746c-b**** -- ls /data

      预期输出：

      nas

      在任意一个Pod的/data下创建的文件，两个Pod下的/data路径下均存在此文件，说明两个Pod共享一个NAS。