Container Service for Kubernetes：使用NAS動態儲存裝置卷

kubectl

1、建立儲存類StorageClass

1. 儲存以下內容至alicloud-nas-subpath.yaml檔案，並根據需求修改相關參數。

   allowVolumeExpansion: true
   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: alicloud-nas-subpath
   mountOptions:
   - nolock,tcp,noresvport
   - vers=3
   parameters:
     volumeAs: subpath
     server: "0cd8b4a576-g****.cn-hangzhou.nas.aliyuncs.com:/k8s/"
   provisioner: nasplugin.csi.alibabacloud.com
   reclaimPolicy: Retain

   參數	描述
   allowVolumeExpansion	僅通用型NAS檔案系統支援設定此參數。開啟時，該StorageClass動態建立的PV將會被配置NAS目錄配額，並支援通過編輯PVC進行卷容量擴容。 說明 NAS配額的生效是非同步，即動態建立出PV後，目錄配額不能保證立即生效，且快速連續寫入大量資料可能會超出設定的容量上限。關於NAS目錄配額的更多資訊，請參見目錄配額。
   mountOptions	掛載NAS的options參數在mountOptions中配置，包括NFS協議版本。
   volumeAs	設定為subpath。取值： subpath：表示建立子目錄類型的PV。您需要手動建立NAS檔案系統以及掛載點。一個PV對應一個NAS檔案系統的子目錄。 sharepath：表示建立PV時不會建立實際的目錄，將會直接使用StorageClass中設定的路徑，這意味著每個PV實際上會對應同一個NAS目錄，便於跨Namespace共用目錄的使用情境。 filesystem：表示Provisioner會自動建立NAS檔案系統，一個PV對應一個NAS檔案系統。
   server	表示建立子目錄類型的PV時，NAS檔案系統的掛載點地址，不設定則預設為/。 重要 此處需替換為實際的掛載點地址，關於如何查看掛載點地址，請參見查看掛載點地址。
   provisioner	驅動類型。本例中取值為nasplugin.csi.alibabacloud.com，表示使用阿里雲NAS CSI外掛程式。
   reclaimPolicy	PV的回收策略，預設為Delete，支援Retain。 Delete模式：需配合archiveOnDelete一起使用。 當archiveOnDelete為true時，刪除PVC時，PV和NAS檔案只會被重新命名，不會被刪除。 當archiveOnDelete為false時，刪除PVC時，PV和NAS檔案會被真正刪除。 Retain模式：刪除PVC的時候，PV和NAS檔案系統不會被刪除，需要您手動刪除。 如果資料安全性要求高，推薦使用Retain方式以免誤刪資料。
   archiveOnDelete	表示在reclaimPolicy為Delete時，是否刪除後端儲存。因為NAS為共用儲存，添加此選項進行雙重確認。在參數parameters下配置。 true（預設）：不會真正刪除目錄或檔案，而是將其重新命名，格式為archived-{pvName}.{timestamp}。 false：會真正刪除後端對應的儲存資源。 說明 業務流量非常大時，不建議配置為false。更多資訊，請參見使用NAS動態儲存裝置卷時Controller的任務隊列已滿且無法建立新的PV。

2. 執行以下命令建立StorageClass。

   kubectl create -f alicloud-nas-subpath.yaml

2、建立PVC

1. 儲存以下內容至pvc.yaml檔案，並根據需求修改相關參數。

   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata: 
     name: nas-csi-pvc
   spec:
     accessModes:
     - ReadWriteMany 
     storageClassName: alicloud-nas-subpath
     resources: 
       requests:
         storage: 20Gi

   參數	說明
   name	PVC名稱。
   accessModes	配置訪問模式。預設為ReadWriteMany，支援ReadWriteOnce或ReadOnlyMany。
   storageClassName	StorageClass的名稱，用於綁定StorageClass。
   storage	聲明應用儲存使用量。 重要 NAS配置PVC的容量僅在檔案系統類型為通用型NAS，且StorageClass設定allowVolumeExpansion為true時才會生效。此時，CSI將按照PVC容量設定NAS目錄配額。NAS目錄配額單位為GiB，實際設定的容量上限為PVC容量按GiB單位向上取整。

2. 建立PVC。

   kubectl create -f pvc.yaml

3、建立應用並掛載NAS

建立應用nginx-1和nginx-2，使其共用同一個NAS檔案系統的同一個子目錄。

1. 儲存以下內容至nginx-1.yaml檔案中。

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: deployment-nas-1
     labels:
       app: nginx-1
   spec:
     selector:
       matchLabels:
         app: nginx-1
     template:
       metadata:
         labels:
           app: nginx-1
       spec:
         containers:
         - name: nginx
           image: anolis-registry.cn-zhangjiakou.cr.aliyuncs.com/openanolis/nginx:1.14.1-8.6
           ports:
           - containerPort: 80
           volumeMounts:
             - name: nas-pvc
               mountPath: "/data"
         volumes:
           - name: nas-pvc
             persistentVolumeClaim:
               claimName: nas-csi-pvc

   • mountPath：NAS在容器中掛載的位置。

   • claimName：PVC的名稱，用於綁定PVC。本例中為nas-csi-pvc。

2. 儲存以下內容至nginx-2.yaml檔案中。

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: deployment-nas-2
     labels:
       app: nginx-2
   spec:
     selector:
       matchLabels:
         app: nginx-2
     template:
       metadata:
         labels:
           app: nginx-2
       spec:
         containers:
         - name: nginx
           image: anolis-registry.cn-zhangjiakou.cr.aliyuncs.com/openanolis/nginx:1.14.1-8.6
           ports:
           - containerPort: 80
           volumeMounts:
             - name: nas-pvc
               mountPath: "/data"
         volumes:
           - name: nas-pvc
             persistentVolumeClaim:
               claimName: nas-csi-pvc

   • mountPath：NAS在容器中掛載的位置。本例為/data。

   • claimName：輸入與nginx-1應用相同的PVC名稱，本例為nas-csi-pvc。

3. 建立應用nginx-1和nginx-2。

   kubectl create -f nginx-1.yaml -f nginx-2.yaml

4. 查看Pod資訊。

   kubectl get pod

   預期輸出：

   NAME                                READY   STATUS    RESTARTS   AGE
   deployment-nas-1-5b5cdb85f6-a****   1/1     Running   0          32s
   deployment-nas-2-c5bb4746c-b****    1/1     Running   0          32s

   為不同的Pod掛載同一個NAS檔案系統的同一個子目錄/data，即掛載點為0cd8b4a576-g****.cn-hangzhou.nas.aliyuncs.com:/k8s/nas-79438493-f3e0-11e9-bbe5-00163e09****的NAS儲存卷已同時掛載到應用deployment-nas-1-5b5cdb85f6-a****和deployment-nas-2-c5bb4746c-b****的/data目錄下。其中：

   • /k8s為StorageClass中指定的subpath。

   • nas-79438493-f3e0-11e9-bbe5-00163e09****為自動建立的NAS儲存卷PV的名稱。

   說明

   如果需要為不同的Pod掛載同一個NAS檔案系統的不同子目錄，則需要分別建立pvc-1和nginx-1以及pvc-2和nginx-2。

控制台

1、建立儲存類StorageClass

1. 登入Container Service管理主控台，在左側導覽列選擇叢集。

2. 在叢集列表頁面，單擊目的地組群名稱，然後在左側導覽列，選擇儲存 > 儲存類。

3. 在儲存類頁面，單擊右上方的建立。

4. 在建立對話方塊中，StorageClass的相關配置完成後，單擊建立。

   主要配置項如下所示。

   配置項	說明	樣本值
   名稱	StorageClass的名稱。 名稱必須以小寫字母開頭，只能包含小寫字母、數字、小數點（.）和中劃線（-）。	alicloud-nas-subpath
   儲存卷類型	選擇NAS。	NAS
   選擇掛載點	NAS檔案系統的掛載點地址。關於如何查看掛載點地址，請參見查看掛載點地址。 若無可選的掛載點地址，請先建立NAS檔案系統。具體操作，請參見建立NAS檔案系統和掛載點。	0cd8b4a576-g****.cn-hangzhou.nas.aliyuncs.com:/k8s/
   儲存卷模式	儲存卷訪問模式。預設為共用目錄模式。取值： 共用目錄：即Sharepath方式掛載，所有儲存卷共用掛載路徑，即資料將儲存於<bucket>:<path>/下。 子目錄：即Subpath方式掛載，建立儲存卷時在掛載路徑下自動建立子目錄，即資料將儲存於<bucket>:<path>/<pv-name>/下。 說明 子目錄模式僅在CSI組件為1.31.4及以上版本時生效，否則均為共用目錄模式。	子目錄
   掛載路徑	NAS檔案系統中的掛載路徑。 如果NAS根目錄下沒有此子目錄，會預設建立後再進行掛載。 您可以不填此項，預設掛載到NAS根目錄。 極速型NAS需要以/share為根目錄，例如/share/data。	/
   回收策略	回收策略。支援Delete和Retain模式， 預設為Delete模式。 Delete模式：需配合archiveOnDelete一起使用。 當archiveOnDelete為true時，刪除PVC時，PV和NAS檔案只會被重新命名，不會被刪除。 當archiveOnDelete為false時，刪除PVC時，PV和NAS檔案會被真正刪除。 Retain模式：刪除PVC時，PV和NAS檔案系統不會被刪除，需要您手動刪除。 如果對資料安全性要求較高，推薦使用Retain模式，以免誤刪資料。	Retain
   掛載選項	掛載NAS的選擇性參數，包括NFS協議版本等。 NFS協議版本號碼推薦使用v3，且極速類型NAS僅支援v3。關於NFS協議的更多資訊，請參見NFS協議。	保持預設

   建立成功後，可在儲存類列表查看建立的StorageClass。

2、建立PVC

1. 在叢集管理頁左側導覽列，選擇儲存 > 儲存聲明。

2. 在儲存聲明頁面，單擊右上方的建立。

3. 在彈出的建立儲存聲明頁面中，配置完成後，單擊建立。

   配置項	說明	樣本值
   儲存宣告類型	選擇NAS。	NAS
   名稱	建立的儲存聲明名稱在叢集內必須唯一。	pvc-nas
   分配模式	本文中選擇使用儲存類動態建立。	使用儲存類動態建立
   已有儲存類	單擊選擇儲存類，在選擇儲存類對話方塊目標儲存類右側操作列單擊選擇。	選擇上一步建立的alicloud-nas-subpath儲存類
   總量	建立儲存卷的容量，此處設定的大小不會限制應用可使用的最大容量。	20Gi
   訪問模式	預設為ReadWriteMany，也可選擇ReadWriteOnce或ReadOnlyMany。	ReadWriteMany

3、建立應用並掛載NAS

參考以下操作，分別建立應用 deployment-nas-1和 deployment-nas-2，使其共用同一個NAS檔案系統的同一個子目錄。

1. 在叢集管理頁左側導覽列，選擇工作負載 > 無狀態。

2. 在無狀態頁面，單擊使用鏡像建立。

3. 配置建立應用的參數資訊。

   主要參數如下，其他參數保持預設即可。更多資訊，請參見建立無狀態工作負載Deployment。

   配置項	參數	說明	樣本
   應用基本資料	應用程式名稱	Deployment名稱，自訂輸入。格式要求請參考介面提示。	deployment-nas-1
   	副本數量	Deployment的副本數量。	2
   容器配置	鏡像名稱	用於部署應用的鏡像地址。	anolis-registry.cn-zhangjiakou.cr.aliyuncs.com/openanolis/nginx:1.14.1-8.6
   	所需資源	所需的vCPU和記憶體資源。	0.25 vCPU，0.5 GiB
   	資料卷	單擊增加雲端儲存聲明，然後完成參數配置。 掛載源：選擇之前建立的PVC。 容器路徑：輸入NAS檔案系統要掛載到的容器路徑。	掛載源：pvc-nas 容器路徑：/data

4. 查看應用部署狀態。

   1. 在無狀態頁面，單擊應用程式名稱。

   2. 在容器組頁簽下，確認Pod已正常運行（狀態為Running）。

kubectl

1、建立儲存類StorageClass

1. 儲存以下內容至alicloud-nas-subpath.yaml檔案，並根據需求修改相關參數。

   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: alicloud-nas-sharepath
   mountOptions:
   - nolock,tcp,noresvport
   - vers=3
   parameters:
     volumeAs: sharepath
     server: "0cd8b4a576-g****.cn-hangzhou.nas.aliyuncs.com:/data"
   provisioner: nasplugin.csi.alibabacloud.com
   reclaimPolicy: Retain

   參數	描述
   mountOptions	掛載NAS的選擇性參數，包括NFS協議版本等。 NFS協議版本號碼推薦使用v3，且極速類型NAS僅支援v3。關於NFS協議的更多資訊，請參見NFS協議。
   volumeAs	設定為sharepath。取值： subpath：表示建立子目錄類型的PV。您需要手動建立NAS檔案系統以及掛載點。一個PV對應一個NAS檔案系統的子目錄。 sharepath：表示建立PV時不會建立實際的目錄，將會直接使用StorageClass裡設定的路徑，這意味著每個PV實際上會對應同一個NAS目錄，便於跨namespace共用目錄使用情境。 filesystem：表示Provisioner會自動建立NAS檔案系統，一個PV對應一個NAS檔案系統。
   server	表示建立子目錄類型的PV時，NAS檔案系統的掛載點地址以及路徑，不設定路徑則預設為/。 重要 此處需替換為實際的掛載點地址，關於如何查看掛載點地址，請參見查看掛載點地址。
   provisioner	驅動類型。此處須配置為nasplugin.csi.alibabacloud.com，表示使用阿里雲NAS CSI組件。
   reclaimPolicy	使用 sharepath時必須要設定為 Retain。

2. 建立StorageClass。

   kubectl create -f alicloud-nas-sharepath.yaml

2、在兩個不同命名空間下建立PVC

為實現跨命名空間下Pod的掛載NAS，您需要先建立兩個不同的命名空間。

1. 執行以下命令，建立命名空間ns1和ns2。

   kubectl create ns ns1
   kubectl create ns ns2

2. 儲存以下內容至pvc.yaml檔案，並根據需求修改相關參數。

   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata: 
     name: nas-csi-pvc
     namespace: ns1
   spec:
     accessModes:
     - ReadWriteMany 
     storageClassName: alicloud-nas-sharepath
     resources: 
       requests:
         storage: 20Gi
   ---
   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata: 
     name: nas-csi-pvc
     namespace: ns2
   spec:
     accessModes:
     - ReadWriteMany 
     storageClassName: alicloud-nas-sharepath
     resources: 
       requests:
         storage: 20Gi

   參數	說明
   name	PVC名稱。
   accessModes	配置訪問模式。預設為ReadWriteMany，支援ReadWriteOnce或ReadOnlyMany。
   storageClassName	StorageClass的名稱，用於綁定StorageClass。
   storage	聲明應用儲存使用量。 重要 使用sharepath時，聲明不會實際產生效果。

3. 建立PVC。

   kubectl create -f pvc.yaml

3、建立應用並掛載

1. 在兩個不同命名空間下分別建立應用，掛載相應命名空間下建立的PVC，它們將共用StorageClass中定義的NAS目錄。

   1. 儲存以下內容至nginx.yaml檔案中，包含兩個 Deployment。

      apiVersion: apps/v1
      kind: Deployment
      metadata:
        name: nginx
        namespace: ns1
      spec:
        selector:
          matchLabels:
            app: nginx
        template:
          metadata:
            labels:
              app: nginx
          spec:
            containers:
            - name: nginx
              image: anolis-registry.cn-zhangjiakou.cr.aliyuncs.com/openanolis/nginx:1.14.1-8.6
              ports:
              - containerPort: 80
              volumeMounts:
                - name: nas-pvc
                  mountPath: "/data"
            volumes:
              - name: nas-pvc
                persistentVolumeClaim:
                  claimName: nas-csi-pvc
      ---
      apiVersion: apps/v1
      kind: Deployment
      metadata:
        name: nginx
        namespace: ns2
      spec:
        selector:
          matchLabels:
            app: nginx
        template:
          metadata:
            labels:
              app: nginx
          spec:
            containers:
            - name: nginx
              image: anolis-registry.cn-zhangjiakou.cr.aliyuncs.com/openanolis/nginx:1.14.1-8.6
              ports:
              - containerPort: 80
              volumeMounts:
                - name: nas-pvc
                  mountPath: "/data"
            volumes:
              - name: nas-pvc
                persistentVolumeClaim:
                  claimName: nas-csi-pvc

      • mountPath：NAS在容器中掛載的位置。

      • claimName：PVC的名稱，用於綁定PVC。本例中為nas-csi-pvc。

   2. 建立應用。

      kubectl create -f nginx.yaml

2. 查看Pod資訊。

   kubectl get pod -A -l app=nginx

   預期輸出：

   NAMESPACE  NAME                READY   STATUS    RESTARTS   AGE
   ns1      nginx-5b5cdb85f6-a****   1/1     Running   0          32s
   ns2      nginx-c5bb4746c-b****    1/1     Running   0          32s

   為不同命名空間的Pod掛載同一個NAS檔案系統的同一個子目錄/data，即掛載點為0cd8b4a576-g****.cn-hangzhou.nas.aliyuncs.com:/data的NAS儲存卷已同時掛載到應用nginx-5b5cdb85f6-a****和nginx-c5bb4746c-b****的/data目錄下。

控制台

驗證NAS的持久化儲存

1. 查看應用所在的Pod。

   kubectl get pod 

   預期輸出：

   NAME                                READY   STATUS    RESTARTS   AGE
   deployment-nas-1-5b5cdb85f6-a****   1/1     Running   0          32s
   deployment-nas-2-c5bb4746c-b****    1/1     Running   0          32s

2. 在一個Pod中建立檔案。

   1. 查看應用中掛載的/data路徑下有無檔案。

      以一個名為deployment-nas-1-5b5cdb85f6-a****的Pod為例。

      kubectl exec deployment-nas-1-5b5cdb85f6-a**** -- ls /data

      無返回結果，表明/data路徑下無檔案。

   2. 在該Pod的/data路徑下建立檔案nas。

      kubectl exec deployment-nas-1-5b5cdb85f6-a**** -- touch /data/nas

3. 在另一個Pod中查看建檔案。

   以另一個名為deployment-nas-2-c5bb4746c-b****的Pod為例。

   kubectl exec deployment-nas-2-c5bb4746c-b**** -- ls /data

   預期輸出：

   nas

4. 重建Pod。

   1. 刪除Pod。

      kubectl delete pod deployment-nas-1-5b5cdb85f6-a****

   2. 同時在另一個視窗中，查看Pod刪除及Kubernetes重建Pod的過程。

      kubectl get pod -w -l app=nginx

5. 驗證刪除Pod後，NAS裡建立的檔案是否還存在。

   1. 查看重建的Pod名稱。

      kubectl get pod

      預期輸出：

      NAME                                READY   STATUS    RESTARTS   AGE
      deployment-nas-1-5b5cdm2g5-c****    1/1     Running   0          32s
      deployment-nas-2-c5bb4746c-b****    1/1     Running   0          32s

   2. 查看重建Pod的/data路徑下的檔案。

      以名為deployment-nas-1-5b5cdm2g5-c**** 的Pod為例。

      kubectl exec deployment-nas-1-5b5cdm2g5-c**** -- ls /data

      預期輸出：

      nas

      nas檔案仍然存在，表明NAS的資料可持久化儲存。

驗證NAS的共用儲存

NAS儲存卷支援同時被多個Pod掛載，當某個Pod修改資料時，其餘Pod將自行實現資料的同步，根據以下樣本驗證NAS儲存卷的共用儲存特性：

1. 查看部署的應用所在的Pod和NAS檔案。

   1. 執行以下命令，查看應用所在的Pod名稱。

      kubectl get pod 

      預期輸出：

      NAME                                READY   STATUS    RESTARTS   AGE
      deployment-nas-1-5b5cdb85f6-a****   1/1     Running   0          32s
      deployment-nas-2-c5bb4746c-b****    1/1     Running   0          32s

   2. 查看2個Pod的/data路徑下的檔案。

      kubectl exec deployment-nas-1-5b5cdb85f6-a**** -- ls /data
      kubectl exec deployment-nas-2-c5bb4746c-b**** -- ls /data

      無返回結果，說明當前儲存路徑/data下無檔案。

2. 在任意一個Pod的/data路徑下建立檔案nas。

   以名為deployment-nas-1-5b5cdb85f6-a****的Pod為例。

    kubectl exec deployment-nas-1-5b5cdb85f6-a**** -- touch /data/nas

3. 查看2個Pod的/data路徑下的檔案。

   1. 查看名為deployment-nas-1-5b5cdb85f6-a****的Pod的/data路徑下的檔案。

      kubectl exec deployment-nas-1-5b5cdb85f6-a**** -- ls /data

      預期輸出：

      nas

   2. 查看另一個名為deployment-nas-2-c5bb4746c-b****的Pod的 /data路徑下的檔案。

      kubectl exec deployment-nas-2-c5bb4746c-b**** -- ls /data

      預期輸出：

      nas

      在任意一個Pod的/data下建立的檔案，兩個Pod下的/data路徑下均存在此檔案，說明兩個Pod共用一個NAS。