UnitedDeployment支援通過彈性單元Subset來靈活、便捷地管理多個同質的工作負載。例如,當一個Deployment需要部署在多個可用性區域時,您可以為每個可用性區域的Deployment定義一個Subset。UnitedDeployment會基於Subset實現細粒度的資源更新和部署,無需您手動設定多個Deployment YAML檔案。您也可以將UnitedDeployment和HPA配合使用,在叢集有計算資源混用的情境下實現Pod的順序擴容和逆序縮容,從而節省資源成本。
您可以參見Kruise官方文檔UnitedDeployment瞭解更多關於UnitedDeployment的資訊。下文結合典型使用情境介紹如何配置UnitedDeployment YAML。
支援的工作負載類型
僅支援StatefulSet、Advanced StatefulSet、CloneSet和Deployment。更多資訊,請參見使用OpenKruise部署雲原生應用。
前提條件
已安裝ack-kruise組件。詳細資料,請參見管理組件。
如需使用ECI資源,需已安裝ACK Virtual Node組件,請參見管理組件。
已通過kubectl工具串連叢集。具體操作,請參見擷取叢集KubeConfig並通過kubectl工具串連叢集。
情境一:UnitedDeployment和HPA配合使用情境
如果您的叢集存在多種計算資源,您可以在UnitedDeployment的YAML中定義所需使用的Subset,通過maxReplicas
欄位配置當工作負載副本數達到某個數值時,超出的副本如何調度。使用HPA來控制UnitedDeployment的水平擴縮時,Pod擴容和縮容順序支援按照自訂的資源順序執行順序擴容和逆序縮容操作。您需要將HPA的scaleTargetRef
欄位配置為UnitedDeployment
及其名稱。
使用本方案時,OpenKruise版本需為v1.5.0及以上。關於組件的變更說明,請參見OpenKruise。
以下樣本中,假設您叢集中存在節點池A(包含ECS訂用帳戶執行個體)、節點池B(包含Spot執行個體),期望Pod優先部署到ECS訂用帳戶的節點上,然後再部署到搶佔式執行個體上,在資源不足時使用ECI資源。
參見以下自訂UnitedDeployment YAML準備test.yaml檔案。
以下UnitedDeployment檔案中配置了Deployment的
template
,並定義了3個Subset。subset-a、subset-b分別使用節點池A和節點池B的資源,即分別使用ECS訂用帳戶執行個體和搶佔式執行個體,副本均為1。
subset-c具備部署在ECI上的
nodeSelectorTerm
和tolerations
,因此會被部署在ECI節點資源上,副本為3。
apiVersion: apps.kruise.io/v1alpha1 kind: UnitedDeployment metadata: name: ud-nginx spec: replicas: 6 revisionHistoryLimit: 10 selector: matchLabels: app: ud-nginx template: deploymentTemplate: metadata: labels: app: ud-nginx spec: selector: matchLabels: app: ud-nginx template: metadata: labels: app: ud-nginx spec: containers: - image: alibaba-cloud-linux-3-registry.cn-hangzhou.cr.aliyuncs.com/alinux3/nginx_optimized:20240221-1.20.1-2.3.0 name: nginx topology: subsets: - name: subset-a nodeSelectorTerm: matchExpressions: - key: alibabacloud.com/nodepool-id operator: In values: - np92019eec42004d878fcdc990fcb9**** # 需要替換為節點池A的ID。 replicas: 1 - name: subset-b nodeSelectorTerm: matchExpressions: - key: alibabacloud.com/nodepool-id operator: In values: - np011de1f2de3d48bd8a92a015fc5c**** # 需要替換為節點池B的ID。 replicas: 1 - name: subset-c nodeSelectorTerm: matchExpressions: - key: type operator: In values: - virtual-kubelet tolerations: - key: virtual-kubelet.io/provider operator: Exists replicas: 3 updateStrategy: manualUpdate: partitions: subset-a: 0 subset-b: 0 subset-c: 0 type: Manual
執行如下命令,部署UnitedDeployment。
kubectl apply -f test.yaml
預期輸出:
uniteddeployment.apps.kruise.io/ud-nginx created
執行如下命令,查看Pod是否成功建立。
kubectl get pod -o wide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES ud-nginx-subset-a-7lbtd-5b5bd77549-5bw6l 1/1 Running 0 73s 192.XX.XX.126 cn-hangzhou.10.XX.XX.131 <none> <none> ud-nginx-subset-b-nvvfw-5c9bcd6766-lv6sp 1/1 Running 0 73s 192.XX.XX.239 cn-hangzhou.10.XX.XX.132 <none> <none> ud-nginx-subset-c-m78fd-7796b66fd8-7p52j 1/1 Running 0 73s 192.XX.XX.130 virtual-kubelet-cn-hangzhou-h <none> <none> ud-nginx-subset-c-m78fd-7796b66fd8-fd7f7 1/1 Running 0 73s 192.XX.XX.129 virtual-kubelet-cn-hangzhou-h <none> <none> ud-nginx-subset-c-m78fd-7796b66fd8-mn4qb 1/1 Running 0 73s 192.XX.XX.131 virtual-kubelet-cn-hangzhou-h <none> <none>
預期輸出表明,Pod按照UnitedDeployment定義的配置部署到不同Subset上,符合預期。
情境二:多可用性區域部署情境
為了保障應用的高可用性,您可能需要將應用的計算或儲存資源分布在多個可用性區域上。您可以為不同可用性區域的節點打上對應可用性區域的Label,然後在UnitedDeployment的YAML中指定不同Subset下Pod應該調度到哪個可用性區域的節點上。
準備3個位於不同可用性區域的節點,參見下方命令為3個節點分別打上對應可用性區域的label。
例如,位於可用性區域a的節點打上Label
node=zone-a
、可用性區域b的節點打上node=zone-b
、可用性區域c的節點打上node=zone-c
。kubectl label node cn-beijing.10.XX.XX.131 node=zone-a node/cn-beijing.10.80.20.131 labeled # 節點10.XX.XX.131已打上Label node=zone-a。 kubectl label node cn-beijing.10.XX.XX.132 node=zone-b node/cn-beijing.10.80.20.132 labeled # 節點10.XX.XX.132已打上Label node=zone-b。 kubectl label node cn-beijing.10.XX.XX.133 node=zone-c node/cn-beijing.10.80.20.133 labeled # 節點10.XX.XX.133已打上Label node=zone-c。
參見以下自訂UnitedDeployment YAML準備test.yaml檔案。
以下代碼中自訂了StatefulSet的
template
,並為每個可用性區域定義了一個Subset。在
statefulSetTemplate
欄位中定義了StatefulSet的工作負載模板。UnitedDeployment會在每個Subset下按照此模板產生一個StatefulSet。在
subsets
欄位中為每個可用性區域定義了一個對應的Subset:subset-a的Pod將部署到Label為node=zone-a的節點,subset-b的Pod部署到Label為node=zone-b的節點,subset-c的Pod將部署到Label為node=zone-c的節點。
apiVersion: apps.kruise.io/v1alpha1 kind: UnitedDeployment metadata: name: sample-ud spec: replicas: 6 revisionHistoryLimit: 10 selector: matchLabels: app: sample template: statefulSetTemplate: metadata: labels: app: sample spec: selector: matchLabels: app: sample template: metadata: labels: app: sample spec: containers: - image: alibaba-cloud-linux-3-registry.cn-hangzhou.cr.aliyuncs.com/alinux3/nginx_optimized:20240221-1.20.1-2.3.0 name: nginx topology: subsets: - name: subset-a nodeSelectorTerm: matchExpressions: - key: node operator: In values: - zone-a replicas: 1 - name: subset-b nodeSelectorTerm: matchExpressions: - key: node operator: In values: - zone-b replicas: 50% - name: subset-c nodeSelectorTerm: matchExpressions: - key: node operator: In values: - zone-c updateStrategy: manualUpdate: partitions: subset-a: 0 subset-b: 0 subset-c: 0 type: Manual
執行如下命令,部署UnitedDeployment。
kubectl apply -f test.yaml
預期輸出:
uniteddeployment.apps.kruise.io/sample-ud created
執行以下命令,查看Pod和StatefulSet是否被成功建立。
kubectl get pod # 預期輸出 NAME READY STATUS RESTARTS AGE sample-ud-subset-a-cplwg-0 1/1 Running 0 6m5s sample-ud-subset-b-rj7kt-0 1/1 Running 0 6m4s sample-ud-subset-b-rj7kt-1 1/1 Running 0 5m49s sample-ud-subset-b-rj7kt-2 1/1 Running 0 5m43s sample-ud-subset-c-g6jvx-0 1/1 Running 0 6m5s sample-ud-subset-c-g6jvx-1 1/1 Running 0 5m51s kubectl get statefulset # 預期輸出 NAME READY AGE sample-ud-subset-a-cplwg 1/1 7m34s sample-ud-subset-b-rj7kt 3/3 7m34s sample-ud-subset-c-g6jvx 2/2 7m34s
預期輸出表明,Pod和StatefulSet已建立成功,分別按順序運行在位於可用性區域a、b、c的節點上。
情境三:ECS、ECI資源混合使用情境
為了應對業務高峰,您可能需要用多種手段保證叢集節點資源充足,同時維持合理的成本。在ACK叢集中,您可能需要讓應用優先部署在ECS資源上,並在ECS資源緊張時指定後續副本自動調度到ECI Pod上。縮容時,叢集也遵循逆序縮容,即先縮容ECI資源,後縮容ECS資源。
以下樣本展示如何將第1~4個副本優先調度到ECS資源上,超過4個副本(但不超過10個副本)時再調度到ECI資源上。
參見以下自訂UnitedDeployment YAML準備test.yaml檔案。
在
deploymentTemplate
欄位中定義了Deployment的工作負載模板。UnitedDeployment會在每個Subset下按照此模板產生一個Deployment。在
subsets
欄位中定義了2個Subset:第1~4個副本中,Pod調度到ECS上(滿足ECS最多規劃4個副本的需求);第5~10個確認副本中,Pod調度到ECI上(滿足ECI彈性需求)。
apiVersion: apps.kruise.io/v1alpha1 kind: UnitedDeployment metadata: name: ud-nginx spec: replicas: 6 selector: matchLabels: app: sample template: # statefulSetTemplate or advancedStatefulSetTemplate or cloneSetTemplate or deploymentTemplate deploymentTemplate: metadata: labels: app: sample spec: selector: matchLabels: app: sample template: metadata: labels: app: sample spec: containers: - image: alibaba-cloud-linux-3-registry.cn-hangzhou.cr.aliyuncs.com/alinux3/nginx_optimized:20240221-1.20.1-2.3.0 name: nginx resources: requests: cpu: "500m" topology: subsets: - name: ecs maxReplicas: 4 - name: eci maxReplicas: null --- apiVersion: autoscaling/v2 kind: HorizontalPodAutoscaler metadata: name: united-deployment-hpa spec: scaleTargetRef: apiVersion: apps.kruise.io/v1alpha1 kind: UnitedDeployment name: ud-nginx # 需要替換為UnitedDeployment的實際Name。 minReplicas: 4 maxReplicas: 10 metrics: - type: Resource resource: name: cpu target: type: Utilization averageUtilization: 50
執行如下命令,部署UnitedDeployment。
kubectl apply -f test.yaml
預期輸出:
horizontalpodautoscaler.autoscaling/united-deployment-hpa created
執行如下命令,查看Pod狀態。
kubectl get pod -o wide # 預期輸出: NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES ud-nginx-eci-dxfbz-864bdb77b-2d4t9 1/1 Running 0 3m9s 192.XX.XX.129 cn-hangzhou.192.XX.XX.120 <none> <none> ud-nginx-eci-dxfbz-864bdb77b-zppfh 1/1 Running 0 3m9s 192.XX.XX.11 cn-hangzhou.192.XX.XX.251 <none> <none> ud-nginx-ecs-5lm7r-868c4ccd5d-5mlgh 1/1 Running 0 3m9s 192.XX.XX.4 cn-hangzhou.192.XX.XX.251 <none> <none> ud-nginx-ecs-5lm7r-868c4ccd5d-6bdkz 1/1 Running 0 3m9s 192.XX.XX.145 cn-hangzhou.192.XX.XX.32 <none> <none> ud-nginx-ecs-5lm7r-868c4ccd5d-dnsfl 1/1 Running 0 3m9s 192.XX.XX.150 cn-hangzhou.192.XX.XX.20 <none> <none> ud-nginx-ecs-5lm7r-868c4ccd5d-mrzwc 1/1 Running 0 3m9s 192.XX.XX.128 cn-hangzhou.192.XX.XX.120 <none> <none>
預期輸出表明,Deployment的Pod副本數目已根據設定的調度策略完成動態分配,即前4個副本調度到ECS資源上,第5個副本起,調度到ECI資源上。
觸發HPA縮容,然後執行如下命令,查看Pod狀態。
kubectl get pod -o wide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES ud-nginx-ecs-5lm7r-868c4ccd5d-5mlgh 1/1 Running 0 8m14s 192.168.8.4 cn-hangzhou.192.168.8.251 <none> <none> ud-nginx-ecs-5lm7r-868c4ccd5d-6bdkz 1/1 Running 0 8m14s 192.168.6.145 cn-hangzhou.192.168.6.32 <none> <none> ud-nginx-ecs-5lm7r-868c4ccd5d-dnsfl 1/1 Running 0 8m14s 192.168.6.150 cn-hangzhou.192.168.6.20 <none> <none> ud-nginx-ecs-5lm7r-868c4ccd5d-mrzwc 1/1 Running 0 8m14s 192.168.5.128 cn-hangzhou.192.168.5.120 <none> <none>
預期輸出表明,6個副本縮容到了4個副本,優先將調度到ECI上的副本刪除。
相關文檔
如需同時擴容多個可用性區域的節點,請參見多可用性區域同時快速彈性擴容。
推薦您搭配節點伸縮方案使用,在叢集的容量規劃無法滿足應用Pod調度時自動擴容節點資源,請參見節點伸縮概述。