隨著業務發展和應用資料增長,當雲端硬碟使用空間不足時,您可以通過雲端硬碟擴容來解決磁碟容量不足的問題。1.16之前的Kubernetes版本不支援雲端硬碟自動擴容,您需要手動擴容雲端硬碟。本文介紹如何通過手動擴容雲端硬碟增加雲端硬碟空間。
使用說明
手動擴容雲端硬碟儲存卷需要您在ECS側完成雲端硬碟擴容,叢集內資源不受影響,即PVC和PV的容量顯示不變。
使用限制
僅支援擴容32 TiB及以下容量的雲端硬碟。
為盡量保證叢集內PV與PVC的容量顯示與實際一致,對於Kubernetes 1.16及更高的版本,推薦選擇動態線上擴容雲端硬碟儲存卷。
資料備份
擴容儲存卷前,先執行雲端硬碟快照備份資料,以防擴容過程異常導致資料丟失。
適用範圍
PV類型為靜態雲端硬碟儲存卷。
查看雲端硬碟使用資訊
本文以MySQL有狀態應用為例,介紹兩種擴容方式。參考以下操作,查看雲端硬碟的使用資訊。
執行以下命令,查看MySQL應用的Pod。
kubectl get pod | grep mysql
預期輸出:
NAME READY STATUS RESTARTS AGE mysql-0 1/1 Running 0 11h mysql-1 1/1 Running 0 11h
執行以下命令,查看MySQL應用的PVC。
kubectl get pvc
預期輸出:
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE disk-pvc-1 Bound d-0jlhaq*** 20Gi RWO alicloud-disk-topology-alltype 11h disk-pvc-2 Bound d-0jl0j5*** 20Gi RWO alicloud-disk-topology-alltype 11h
執行以下命令查看MySQL應用的PV。
kubectl get pv
預期輸出:
NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE d-0jl0j5*** 20Gi RWO Delete Bound default/disk-pvc-1 alicloud-disk-topology-alltype 11h d-0jlhaq*** 20Gi RWO Delete Bound default/disk-pvc-1 alicloud-disk-topology-alltype 11h
從以上預期輸出可得:樣本應用MySQL使用了20 GiB的
d-0jl0j5***
和d-0jlhaq***
雲端硬碟,分別掛載在2個Pod上。
關於如何部署MySQL有狀態應用的具體操作,請參見建立有狀態工作負載StatefulSet。
方式一:不暫停應用手動線上擴容
根據PV資訊找到對應的雲端硬碟,手動對雲端硬碟擴容,然後在雲端硬碟對應掛載節點手動執行檔案系統擴容。以下樣本介紹如何把2個雲端硬碟擴容到30 GiB。
步驟一:雲端硬碟儲存卷擴容
登入ECS管理主控台。
在左側導覽列,選擇 。
找到MySQL應用對應的雲端硬碟d-0jl0j5***及d-0jlhaq***,查看雲端硬碟狀態,然後在各自操作列選擇 。
在磁碟擴容頁面,選中線上擴容,並輸入擴容後容量,例如30 GiB。
說明設定的擴容後容量不允許小於當前容量。
仔細閱讀並選中《Elastic Compute Service服務條款》,確認費用後單擊確認擴容。
具體操作,請參見擴大雲端硬碟容量。
閱讀磁碟擴容須知後,單擊已閱讀,繼續擴容,完成費用支付。
在雲端硬碟頁面查看雲端硬碟容量是否擴容成功。
步驟二:檔案系統擴容
擴容雲端硬碟後,需要完成對檔案系統的擴容,否則容器記憶體儲空間依然是擴容前的大小。
此步驟僅針對未分區雲端硬碟,是K8s中雲端硬碟的標準使用方法,不建議在K8s系統中使用分區雲端硬碟。
若PV使用未分區雲端硬碟,則不能手動執行分區操作,否則將會對當前檔案系統產生破壞,造成資料丟失。
若PV使用分區雲端硬碟,則需要擴容分區裝置後擴容檔案系統。具體操作,請參見擴容分區和檔案系統(Linux)或擴容分區和檔案系統(Windows)。
查看當前雲端硬碟掛載節點。
登入ECS管理主控台。
在左側導覽列,選擇 。
找到MySQL應用對應的雲端硬碟d-0jl0j5***及d-0jlhaq***,分別單擊雲端硬碟名稱。
在雲端硬碟詳情頁面的掛載執行個體列表中單擊所掛載的執行個體,然後在執行個體詳情頁簽查看執行個體網路資訊。
說明您也可以在K8s中查看該雲端硬碟對應Pod所在的節點。具體操作,請參見查看容器組(Pod)。
串連到掛載雲端硬碟的ECS執行個體節點上,擷取雲端硬碟裝置符。
關於如何串連到ECS執行個體節點,請參見ECS遠端連線方式概述。
可通過以下方法擷取雲端硬碟裝置符。
執行以下命令擷取雲端硬碟d-0jlhaq***的裝置符。
# 查詢 {pv-name} mount |grep d-0jlhaq***
預期輸出:
/dev/vdc on /var/lib/kubelet/plugins/kubernetes.io/csi/pv/d-0jlhaq***/globalmount type ext4 (rw,relatime) /dev/vdc on /var/lib/kubelet/pods/a26d174f-***/volumes/kubernetes.io~csi/d-0jlhaq***/mount type ext4 (rw,relatime)
從以上預期輸出可得:所掛載的雲端硬碟
d-0jlhaq***
在當前節點的裝置符為/dev/vdc。
執行以下命令,擴容檔案系統。
resize2fs /dev/vdc
預期輸出:
resize2fs 1.43.5 (04-Aug-2017) Filesystem at /dev/vdc is mounted on /var/lib/kubelet/plugins/kubernetes.io/csi/pv/d-0jlhaq***/globalmount; on-line resizing required old_desc_blocks = 3, new_desc_blocks = 4 The filesystem on /dev/vdc is now 7864320 (4k) blocks long.
執行以下命令,驗證檔案系統擴容結果。
lsblk /dev/vdc
預期輸出:
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT vdc 254:32 0 30G 0 disk /var/lib/kubelet/pods/a26d174f-***/volumes/kubernetes.io~csi/d-0jlhaq***/mount
從以上預期輸出可得,vdc檔案系統儲存空間為30 GiB。
方式二:暫停應用手動擴容
通過刪除StatefulSet或者將Replica配置為0的方式暫停應用,手動對每個依賴資料盤擴容,然後再啟動應用。以下樣本展示如何把2個雲端硬碟擴容到30 GiB。
步驟一:刪除應用Pod
執行以下命令,將Pod縮容為0個副本。
kubectl scale sts mysql --replicas=0
預期輸出:
statefulset.apps/mysql scaled
執行以下命令,查看Pod是否刪除。
kubectl get pod | grep mysql
無輸出,代表已刪除MySQL應用。
步驟二:雲端硬碟儲存卷擴容
登入ECS管理主控台。
在左側導覽列,選擇 。
找到MySQL應用對應的雲端硬碟d-0jl0j5***及d-0jlhaq***,查看雲端硬碟狀態,然後在各自操作列選擇 。
在磁碟擴容頁面配置擴容方式及擴容後容量。
若雲端硬碟處於待掛載狀態,在磁碟擴容頁面無需選中線上擴容,輸入擴容後容量,例如30 GiB。
若雲端硬碟處於使用中狀態,在磁碟擴容頁面選中線上擴容,並輸入擴容後容量。
說明設定的擴容後容量不允許小於當前容量。
仔細閱讀並選中《Elastic Compute Service服務條款》,確認費用後單擊確認擴容。
具體操作,請參見步驟一:擴容雲端硬碟容量。
閱讀磁碟擴容須知後,單擊已閱讀,繼續擴容,完成費用支付。
步驟三:檔案系統擴容
擴容雲端硬碟後,需要完成對檔案系統的擴容,否則容器記憶體儲空間依然是擴容前的大小。
此步驟僅針對未分區雲端硬碟,是K8s中雲端硬碟的標準使用方法,不建議在K8s系統中使用分區雲端硬碟。
若PV使用未分區雲端硬碟,則不能手動執行分區操作,否則將會對當前檔案系統產生破壞,造成資料丟失。
若PV使用分區雲端硬碟,則需要擴容分區裝置後擴容檔案系統。具體操作,請參見擴容分區和檔案系統(Linux)或擴容分區和檔案系統(Windows)。
可選:將待掛載雲端硬碟掛載到某個ECS節點。
說明需要將雲端硬碟掛載到ECS節點上才可實現檔案系統擴容。
登入ECS管理主控台。
在左側導覽列,選擇 。
對於待掛載狀態的雲端硬碟,在操作列選擇 。
在掛載雲端硬碟對話方塊,選擇目標執行個體並設定雲端硬碟相關釋允許存取為。
配置項
說明
目標執行個體
選擇需要掛載的ECS執行個體。
雲端硬碟隨執行個體釋放
選中此選項,釋放執行個體時會自動釋放此雲端硬碟。 如果未選中,當執行個體被釋放時該雲端硬碟會被保留下來。
說明如果您掛載的是從其他執行個體卸載的系統硬碟,雲端硬碟隨執行個體釋放中的執行個體指系統硬碟被卸載前的源ECS執行個體,並非當前操作的執行個體。
自動快照隨雲端硬碟釋放
選中此選項,當雲端硬碟釋放時該雲端硬碟建立的自動快照都會一起釋放。建議您不要選擇該選項,以便保留備份資料。
單擊執行掛載。
如果該雲端硬碟的狀態變為使用中,表示掛載成功。
串連到掛載雲端硬碟的ECS執行個體節點上,擷取雲端硬碟裝置符。
關於如何串連到ECS執行個體節點,請參見ECS遠端連線方式概述。
執行以下命令擷取雲端硬碟裝置符。
for device in `ls /sys/block | grep vd`; do cat /sys/block/$device/serial | grep 0jlhaq*** && echo $device; done
說明0jlhaq***
為擴容雲端硬碟IDd-0jlhaq***
中d-
後的字串。可選:若上述操作無法擷取到雲端硬碟裝置符,請按以下操作擷取。
將目標雲端硬碟卸載後執行
ls /dev/vd*
命令查看雲端硬碟列表。將目標雲端硬碟掛載後執行
ls /dev/vd*
命令查看雲端硬碟列表。比較上述擷取的雲端硬碟列表,多出來的雲端硬碟即為目標雲端硬碟。
執行以下命令,擴容檔案系統。
resize2fs /dev/vdb
說明/dev/vdb為步驟2擷取的雲端硬碟裝置符。
預期輸出:
resize2fs 1.43.5 (04-Aug-2017) Resizing the filesystem on /dev/vdb to 7864320 (4k) blocks. The filesystem on /dev/vdb is now 7864320 (4k) blocks long.
驗證檔案系統擴容結果。
執行以下命令,建立臨時檔案夾/mnt/disk/,並將雲端硬碟掛載到臨時檔案夾上。
mkdir /mnt/disk mount /dev/vdb /mnt/disk/
執行以下命令,查看檔案系統大小。
df /mnt/disk/
預期輸出:
Filesystem 1K-blocks Used Available Use% Mounted on /dev/vdb 30832548 45036 30771128 1% /mnt/disk
從以上預期輸出可得:臨時檔案夾/dev/vdb的容量為30 GiB,說明已經擴容成功。
執行以下命令,將雲端硬碟從臨時檔案夾卸載。
umount /mnt/disk
步驟四:重啟應用
執行以下命令,將Pod擴容為2個副本。
kubectl scale sts mysql --replicas=2
預期輸出:
statefulset.apps/mysql scaled
執行以下命令,查看Pod是否恢複。
kubectl get pod | grep mysql
預期輸出:
NAME READY STATUS RESTARTS AGE mysql-0 1/1 Running 0 74s mysql-1 1/1 Running 0 42s
執行以下命令,查看檔案系統大小。
kubectl exec mysql-0 -- df /data
預期輸出:
Filesystem 1K-blocks Used Available Use% Mounted on /dev/vdb 30832548 45036 30771128 1% /data
從以上預期輸出可得,/dev/vdb檔案系統儲存空間為30 GiB。
在執行resize2fs
命令後出現如下錯誤提示
resize of device /dev/xxx failed: exit status 1 resize2fs output: resize2fs xxx(version)
Please run `e2fsck -f /dev/xxx` first
問題原因
因為不滿足檔案系統的一致性導致IO崩潰。
解決方案
請按照提示執行e2fsck -f /dev/xxx
後再嘗試擴容。