全部產品
Search
文件中心

Container Service for Kubernetes:通過虛擬節點將Pod調度到ECI上運行

更新時間:Jul 26, 2024

當您需要在短時間內快速建立大量Pod時,ECS節點擴容速度可能無法滿足要求,而預留額外的ECS節點又會產生資源浪費。藉助ACK虛擬節點(Virtual Node)可以將Pod快速地調度到Elastic Container Instance上運行,且無需購買和管理ECS節點。本文主要介紹如何在註冊叢集中將Pod調度到ECI上運行。

工作原理

阿里雲Elastic Container Instance(Elastic Container Instance)是面向容器設計的無伺服器彈性計算服務,提供了免營運、強隔離、能快速啟動的容器運行環境。使用ECI時,您無需購買和管理底層ECS伺服器,可以更加關注容器應用而非底層基礎設施的維護工作。您可按需建立ECI,僅為容器配置的資源付費(按量按秒計費)。

通常,您的ACK叢集會有至少一組ECS節點池,建立Pod時,背後是將Pod調度到ECS節點上運行,這種架構能很好地應對流量穩定的業務。如果您的業務有不易提前預測的瞬時波峰,儘管ACK支援Auto Scaling,但ECS節點池擴容時,ECS執行個體的建立和啟動本身會有一定的額外耗時。藉助虛擬節點Virtual Node,您可以直接將Pod調度到ECI上運行,省去節點建立時間,避免產生閑置節點資源,降低成本。

前提條件

步驟一:為ack-virtual-node組件配置RAM許可權

通過onectl配置

  1. 在本地安裝配置onectl。具體操作,請參見通過onectl管理註冊叢集

  2. 執行以下命令,為ack-virtual-node組件配置RAM許可權。

    onectl ram-user grant --addon ack-virtual-node

    預期輸出:

    Ram policy ack-one-registered-cluster-policy-ack-virtual-node granted to ram user ack-one-user-ce313528c3 successfully.

通過控制台配置

在註冊叢集安裝組件之前,您需要在接入叢集中設定AccessKey用來訪問雲端服務的許可權。設定AccessKey之前,您需要建立RAM使用者並為其添加訪問相關雲資源的許可權。

  1. 建立RAM使用者。具體操作,請參見建立RAM使用者

  2. 可選:建立自訂權限原則。具體操作,請參見建立自訂權限原則。

    展開查看自訂原則範本

    {
        "Version": "1",
        "Statement": [
            {
                "Action": [
                    "eci:CreateContainerGroup",
                    "eci:DeleteContainerGroup",
                    "eci:DescribeContainerGroups",
                    "eci:DescribeContainerGroupStatus",
                    "eci:DescribeContainerGroupEvents",
                    "eci:DescribeContainerLog",
                    "eci:UpdateContainerGroup",
                    "eci:UpdateContainerGroupByTemplate",
                    "eci:CreateContainerGroupFromTemplate",
                    "eci:RestartContainerGroup",
                    "eci:ExportContainerGroupTemplate",
                    "eci:DescribeContainerGroupMetric",
                    "eci:DescribeMultiContainerGroupMetric",
                    "eci:ExecContainerCommand",
                    "eci:CreateImageCache",
                    "eci:DescribeImageCaches",
                    "eci:DeleteImageCache",
                    "vpc:DescribeVSwitches"
                ],
                "Resource": [
                    "*"
                ],
                "Effect": "Allow"
            }
        ]
    }
  3. 為RAM使用者添加許可權。具體操作,請參見為RAM使用者授權

    可選擇自訂權限原則或AliyunECIFullAccess策略為RAM使用者授權。

  4. 為RAM使用者建立AccessKey。具體操作,請參見擷取AccessKey

  5. 使用AccessKey在註冊叢集中建立名為alibaba-addon-secret的Secret資源。

    安裝ack-virtual-node組件時將自動引用此AccessKey訪問對應的雲端服務資源。

    kubectl -n kube-system create secret generic alibaba-addon-secret --from-literal='access-key-id=<your access key id>' --from-literal='access-key-secret=<your access key secret>'
    說明

    <your access key id><your access key secret>為上一步擷取的AccessKey資訊。

步驟二:安裝ack-virtual-node組件

通過onectl安裝

執行以下命令,安裝ack-virtual-node組件。

onectl addon install ack-virtual-node

預期輸出:

Addon ack-virtual-node, version **** installed.

通過控制台安裝

  1. 登入Container Service管理主控台,在左側導覽列選擇叢集

  2. 叢集列表頁面,單擊目的地組群名稱,然後在左側導覽列,選擇營運管理 > 組件管理

  3. 單擊其他頁簽,在ack-virtual-node組件地區單擊安裝

    提示對話方塊中單擊確定。這時會以叢集預設虛擬交換器和安全性群組作為ack-virtual-node的初始ECI配置參數。具體操作,請參見相關操作

步驟三:將Pod調度到ECI上運行

為叢集部署了ack-virtual-node組件後,您可以藉助虛擬節點將Pod調度到ECI上。本小節介紹了在註冊叢集中將Pod調度到ECI上的兩種常見方式。調度前需要確保Virtual node的狀態為Ready。

  1. 執行以下命令,查看Virtual node狀態。

    kubectl  get no |grep virtual-kubelet

    預期輸出:

    virtual-kubelet-cn-hangzhou-b   Ready    agent                  18d   v1.20.11-aliyun.1

    從預期輸出可知,當前Virtual node狀態為Ready。

  2. 通過以下三種方式可將Pod調度到ECI上運行。

    方式一:配置Pod標籤(叢集版本需大於1.16)

    將Pod添加標籤alibabacloud.com/eci=true,Pod將以ECI方式運行,其節點是虛擬節點,樣本如下:

    1. 執行以下命令給Pod添加標籤。

    2. kubectl run nginx --image nginx -l alibabacloud.com/eci=true
    3. 執行以下命令查看Pod。

    4. kubectl get pod -o wide|grep virtual-kubelet
    5. 預期輸出:

    6. nginx-7fc9f746b6-r4xgx     0/1     ContainerCreating   0          20s   192.168.XX.XX   virtual-kubelet        <none>           <none>

    方式二:配置命名空間標籤

    將Pod所在的命名空間添加標籤alibabacloud.com/eci=true,Pod將以ECI方式運行,其節點是虛擬節點,樣本如下:

    1. 執行以下命令建立虛擬節點。

    2. kubectl create ns vk
    3. 執行以下命令將Pod所在的命名空間添加標籤。

    4. kubectl label namespace vk alibabacloud.com/eci=true
    5. 執行以下命令將命名空間中的Pod調度到虛擬節點上。

    6. kubectl -n vk run nginx --image nginx
    7. 執行以下命令查看Pod。

    8. kubectl -n vk get pod -o wide|grep virtual-kubelet
    9. 預期輸出:

    10. nginx-6f489b847d-vgj4d      1/1     Running             0          1m   192.168.XX.XX   virtual-kubelet        <none>           <none>

    方式三:指定節點名稱

    指定Pod調度到虛擬節點,添加 nodeName: virtual-kubelet-cn-shanghai-k,Pod將以ECI方式運行,其節點是虛擬節點,樣本如下:

    1. 使用以下內容,建立nginx-deployment.yaml。

    2. apiVersion: apps/v1 # for versions before 1.8.0 use apps/v1beta1
      kind: Deployment
      metadata:
        name: nginx-deployment-basic
        labels:
          app: nginx
      spec:
        replicas: 2
        selector:
          matchLabels:
            app: nginx
        template:
          metadata:
            labels:
              app: nginx
          spec:
            nodeName: virtual-kubelet-cn-shanghai-k             # 指定vk的nodeName
            containers:
            - name: nginx
              image: nginx:1.7.9 # replace it with your exactly <image_name:tags>
              ports:
              - containerPort: 80
              resources:
                limits:
                  cpu: "500m"
    3. 執行以下命令,建立應用。

    4. kubectl apply -f nginx-deployment.yaml
    5. 執行以下命令查看Pod。

    6. kubectl  get pod -o wide|grep virtual-kubelet
    7. 預期輸出:

    8. nginx-6f489b847d-XXX      1/1     Running             0          1m   192.168.XX.XX   virtual-kubelet        <none>           <none>
      nginx-6f489b847d-XXX      1/1     Running             0          1m   192.168.XX.XX   virtual-kubelet        <none>           <none>

相關操作

修改ECI交換器配置

您可以修改ECI Pod所在的虛擬交換器。建議配置多個虛擬交換器支援多可用性區域,當單個可用性區域庫存不足時,Controller會選擇另外一個可用性區域建立ECI Pod。

通過如下命令修改ECI交換器相關資訊:

kubectl edit configmap eci-profile -n kube-system

配置樣本如下:

data:
  enableClusterIp: "true"
  enableHybridMode: "false"
  enablePrivateZone: "false"
  securityGroupId: sg-2zeeyaaxlkq9sppl****
  selectors: ""
  vSwitchIds: vsw-2ze23nqzig8inprou****,vsw-2ze94pjtfuj9vaymf****     # ECI Pod所屬交換器。可配置多個,用半形逗號間隔。
  vpcId: vpc-2zeghwzptn5zii0w7****

更多關於eci-profile配置的詳細資料,請參見配置eci-profile

刪除虛擬節點

  1. 在註冊叢集中卸載ack-virtual-node組件。

    通過onectl卸載

    執行以下命令,卸載組件。

    onectl addon uninstall ack-virtual-node

    預期輸出:

    Addon ack-virtual-node uninstalled.

    通過控制台卸載

    組件管理頁面卸載ack-virtual-node組件即可。

  2. 通過命令kubectl delete node <node name>刪除相關虛擬節點。

    說明

    卸載ack-virtual-node組件後,叢集中已建立的ECI Pod並不會被刪除。