Container Service for Kubernetes：開啟CNFS NAS計算端分布式緩衝

索引

• 前提條件

• 分布式緩衝關鍵效能指標

• 步驟一：使用分布式緩衝掛載NAS檔案系統

• 步驟二：測試緩衝是否生效

分布式緩衝關鍵效能指標

步驟一：使用分布式緩衝掛載NAS檔案系統

1. 執行以下命令，在叢集中建立並部署csi-plugin的ConfigMap，安裝加速外掛程式。

   cat <<EOF | kubectl apply -f -
   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: csi-plugin
     namespace: kube-system
   data:
     cnfs-client-properties: |
       nas-efc=true
     nas-efc-cache: |
       enable=true
       container-number=3
       volume-type=memory
       volume-size=15Gi
     node-selector: |
       cache=true
   EOF

   參數	說明
   cnfs-client-properties	分布式緩衝的緩衝開關。當配置cnfs-cache-properties. enable=true時，表示開啟分布式緩衝。
   nfs-efc-cache. container-number	當開啟分布式緩衝時需要配置。 緩衝的DaemonSet的容器數量，當緩衝有效能瓶頸時，可以增加容器數量。
   nfs-efc-cache. volume-type	當開啟分布式緩衝時需要配置。 緩衝容器EmptyDir使用的介質。 Disk：磁碟。 Memory：記憶體。
   nfs-efc-cache. volume-size	當開啟分布式緩衝時需要配置。表示快取資料卷Volume的總大小，單位：GiB。
   cnfs-client-properties	安裝分布式緩衝的相關依賴，則需要配置cnfs-client-properties. enable=true。
   node-selector	緩衝的DaemonSet通過Label進行調度，如果不配置，則所有節點都會部署緩衝。

   重要

   • 使用磁碟和記憶體時，會使用節點的資料盤和記憶體資源，請確保不影響業務運行。

   • 本樣本部署了分布式緩衝的DaemonSet，緩衝中有3個Container，在緩衝Pod容器內每個Container掛載5 GiB的tmpfs卷，並且只調度到帶有cache=true標籤的節點上。

   ConfigMap配置完成後，會根據已配置的ConfigMap自動部署緩衝的DaemonSet以及Service。

2. 執行以下命令，重啟CSI-Plugin組件，安裝相關依賴。

   kubectl get pod -nkube-system -owide | grep csi-plugin | awk '{print $1}' | xargs kubectl -nkube-system delete pod

3. 執行以下命令，為CNFS的檔案儲存體開啟分布式緩衝。

   建立一個CNFS託管NAS檔案系統，StatefulSet通過使用動態儲存裝置卷的方式掛載分布式緩衝，使用busybox鏡像，Pod啟動時會通過dd命令將1 G大小的檔案寫入/data下面，1 G檔案後續用於測試緩衝是否生效。

   展開查看開啟分布式緩衝使用的YAML檔案

   cat << EOF | kubectl apply -f -
   apiVersion: storage.alibabacloud.com/v1beta1
   kind: ContainerNetworkFileSystem
   metadata:
     name: cnfs-nas-filesystem
   spec:
     description: "cnfs"
     type: nas
     reclaimPolicy: Retain
     parameters:
       filesystemType: standard
       storageType: Capacity
       protocolType: NFS
       encryptType: None
       enableTrashCan: "true"
       trashCanReservedDays: "5"
       useClient: "EFCClient" # 通過EFC用戶端使用分布式緩衝進行掛載。
   ---
   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: alibabacloud-cnfs-nas-sc
   mountOptions:
     - g_tier_EnableClusterCache=true              # 掛載時，分布式緩衝使用緩衝配置。
     - g_tier_EnableClusterCachePrefetch=true      # 掛載時，分布式緩衝開啟預讀功能。
   parameters:
     volumeAs: subpath
     containerNetworkFileSystem: cnfs-nas-filesystem
     path: "/"
   provisioner: nasplugin.csi.alibabacloud.com
   reclaimPolicy: Retain
   allowVolumeExpansion: true
   ---
   apiVersion: apps/v1
   kind: StatefulSet
   metadata:
     name: cnfs-nas-sts
     labels:
       app: busybox
   spec:
     serviceName: "busybox"
     replicas: 1
     selector:
       matchLabels:
         app: busybox
     template:
       metadata:
         labels:
           app: busybox
       spec:
         containers:
         - name: busybox
           image: busybox
           command: ["/bin/sh"]
           args: ["-c", "dd if=/dev/zero of=/data/1G.tmpfile bs=1G count=1;sleep 3600;"]
           volumeMounts:
           - mountPath: "/data"
             name: www
     volumeClaimTemplates:
     - metadata:
         name: www
       spec:
         accessModes: [ "ReadWriteOnce" ]
         storageClassName: "alibabacloud-cnfs-nas-sc"
         resources:
           requests:
             storage: 50Gi
   EOF

4. 執行以下命令，確認分布式緩衝是否掛載成功。

   kubectl exec cnfs-nas-sts-0   -- mount | grep /data

   預期輸出：

   xxx.cn-xxx.nas.aliyuncs.com:/nas-6b9d1397-6542-4410-816b-4dfd0633****:2fMaQdxU on /data type alifuse.aliyun-alinas-eac (rw,nosuid,nodev,relatime,user_id=0,group_id=0,default_permissions,allow_other)

   輸出顯示有掛載點，說明分布式緩衝已掛載成功。

5. 執行以下命令，確認分布式緩衝的DaemonSet是否啟動。

   kubectl get ds/cnfs-cache-ds -n kube-system -owide

   預期輸出：

   NAME             DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR   AGE   CONTAINERS              IMAGES                                                         SELECTOR
   cnfs-cache-ds   3         3         3       3            3           <none>          19d   alinas-dadi-container   registry-vpc.cn-shenzhen.aliyuncs.com/acs/nas-cache:20220420   app=cnfs-cache-ds

   本樣本的叢集有3個節點，DaemonSet的3個Pod均處於可用狀態，說明分布式緩衝的DaemonSet已經啟動完成。

6. 執行以下命令，確認分布式緩衝的Service是否實現服務發現。

   kubectl get ep cnfs-cache-ds-service  -n kube-system -owide

   預期輸出：

   NAME                     ENDPOINTS                                          AGE
   cnfs-cache-ds-service   10.19.1.130:6500,10.19.1.40:6500,10.19.1.66:6500   19d

   Service已經發現後端緩衝Pod對應的EndPoints為10.19.1.130、10.19.1.40、10.19.1.66，連接埠為6500。

步驟二：測試緩衝是否生效

1. 執行以下命令，將寫入到/data中的1 G的tmpfile檔案複製到/下，查看耗時時間。

   kubectl exec cnfs-nas-sts-0 -- time cp /data/1G.tmpfile /

   預期輸出：

   real    0m 5.66s
   user    0m 0.00s
   sys     0m 0.75s

   可以看到：未開啟分布式緩衝時，拷貝時間不變，保持約5s左右。

2. 重複執行以下命令，查看耗時。

   kubectl exec cnfs-nas-sts-0 -- time cp /data/1G.tmpfile /

   預期輸出：

   real    0m 0.79s
   user    0m 0.00s
   sys     0m 0.58s

   可以看到：對多次訪問的檔案，拷貝讀加速提升了6~7倍。