Container Service for Kubernetes：通過資源畫像推薦容器規格配置

費用說明

ack-koordinator組件本身的安裝和使用是免費的，不過需要注意的是，在以下情境中可能產生額外的費用：

• ack-koordinator是非託管組件，安裝後將佔用Worker節點資源。您可以在安裝組件時配置各模組的資源申請量。

• ack-koordinator預設會將資源畫像、精細化調度等功能的監控指標以Prometheus的格式對外透出。若您配置組件時開啟了ACK-Koordinator開啟Prometheus監控指標選項並使用了阿里雲Prometheus服務，這些指標將被視為自訂指標併產生相應費用。具體費用取決於您的叢集規模和應用數量等因素。建議您在啟用此功能前，仔細閱讀阿里雲Prometheus計費說明，瞭解自訂指標的免費額度和收費策略。您可以通過賬單和用量查詢，監控和管理您的資源使用方式。

通過控制台使用資源畫像

步驟一：安裝資源畫像

1. 登入Container Service管理主控台，在左側導覽列選擇叢集。

2. 在叢集列表頁面，單擊目的地組群名稱，然後在左側導覽列，選擇成本套件 > 成本最佳化。

3. 在成本最佳化頁面，單擊資源畫像頁簽，然後在資源畫像地區，按照頁面提示開啟功能。

   • 組件安裝或升級：按照頁面提示安裝或升級ack-koordinator組件。首次使用時，需要安裝ack-koordinator組件。

     說明

     當前的ack-koordinator版本<0.7.0時，需進行遷移和升級。具體操作，請參見將ack-koordinator從應用市場遷移至組件中心。

   • 畫像配置：首次使用時，在安裝或升級完成後，您可以勾選啟用預設配置控制資源畫像的開啟範圍（推薦使用），也可後續在控制台中單擊畫像配置進行調整。

4. 單擊開啟畫像，進入資源畫像頁面。

步驟二：資源畫像策略管理

1. 登入Container Service管理主控台，在左側導覽列選擇叢集。

2. 在叢集列表頁面，單擊目的地組群名稱，然後在左側導覽列，選擇成本套件 > 成本最佳化。

3. 在成本最佳化頁面，單擊資源畫像頁簽，然後單擊畫像配置。

   畫像配置分為全量配置和自訂配置兩種模式，資源畫像組件安裝過程中推薦的預設配置為全量配置模式。您可以在此對配置模式和配置參數進行修改，並單擊確定生效。

   全量配置模式（推薦）

   全量配置模式將為所有工作負載開啟資源畫像，預設排除arms-prom和kube-system兩個系統命名空間。

   配置項	說明	取值範圍
   排除的命名空間	不開啟資源畫像的命名空間，一般為系統組件對應的命名空間。最終開啟範圍為命名空間和負載類型的交集。	當前叢集內已經存在的命名空間，支援多選，預設值為kube-system和arms-prom。
   開啟的負載類型	開啟資源畫像的負載類型範圍。最終開啟範圍為命名空間和負載類型的交集。	支援K8s原生的三類工作負載，包括Deployment、StatefulSet和DaemonsSet，支援多選。
   CPU/記憶體資源消耗冗餘	產生資源畫像參考的安全冗餘水位，詳見下文描述。	要求為非負數，提供三檔常用的冗餘度70%、50%、30%。

   自訂配置模式

   自訂配置模式僅開啟一部分命名空間的工作負載，若您的叢集規模較大（例如1000節點以上），或僅需試用開啟一部分工作負載，可以通過自訂配置模式按需指定。

   配置項	說明	取值範圍
   開啟的命名空間	開啟資源畫像的命名空間，最終開啟範圍為命名空間和負載類型的交集。	當前叢集內已經存在的命名空間，支援多選。
   負載類型	開啟資源畫像的負載類型範圍，最終開啟範圍為命名空間和負載類型的交集。	支援K8s原生的三類工作負載，包括Deployment、StatefulSet和DaemonsSet，支援多選。
   CPU/記憶體資源消耗冗餘	產生資源畫像參考的安全冗餘水位，詳見下文描述。	要求為非負數，提供三檔常用的冗餘度（70%、50%、30%）。

   資源消耗冗餘：管理員在評估應用業務容量時（例如QPS），通常不會將實體資源使用到100%。這既包括超執行緒等實體資源的局限性，也包括應用自身需要保留部分資源以應對高峰時段的負載請求。當畫像值與原始資源請求的差距超過安全冗餘時，會提示降配建議，具體演算法參見應用畫像概覽部分中有關畫像建議的說明。

步驟三：查看應用畫像概覽

畫像總體概覽以及各列的詳細說明如下表所示。

步驟四：查看應用畫像詳情

步驟五：變更應用資源規格

通過命令列使用資源畫像

步驟一：啟用資源畫像

1. 使用以下YAML內容，建立recommendation-profile.yaml檔案，開啟工作負載的資源規格畫像。

   建立RecommendationProfile CRD，可以開啟工作負載的資源畫像，並擷取容器的資源規格畫像資料。RecommendationProfile CRD支援通過命名空間（Namespace）以及工作負載類型控制開啟範圍，開啟範圍為二者的交集。

   apiVersion: autoscaling.alibabacloud.com/v1alpha1
   kind: RecommendationProfile
   metadata:
     # 對象名稱，nonNamespaced類型不需指定命名空間。
     name: profile-demo
   spec:
     # 開啟資源畫像的工作負載類型。
     controllerKind:
     - Deployment
     # 開啟資源畫像的命名空間範圍。
     enabledNamespaces:
     - default

   各項配置欄位含義如下：

   參數	類型	說明
   metadata.name	String	對象的名稱。若RecommendationProfile為nonNamespaced類型，則無需指定命名空間。
   spec.controllerKind	String	開啟資源畫像的工作負載類型。支援的工作負載類型包括Deployment 、StatefulSet和DaemonSet。
   spec.enabledNamespaces	String	開啟資源畫像的命名空間範圍。

2. 執行以下命令，為目標應用開啟資源畫像。

   kubectl apply -f recommender-profile.yaml

3. 使用以下YAML內容，建立cpu-load-gen.yaml檔案。

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: cpu-load-gen
     labels:
       app: cpu-load-gen
   spec:
     replicas: 2
     selector:
       matchLabels:
         app: cpu-load-gen-selector
     template:
       metadata:
         labels:
           app: cpu-load-gen-selector
       spec:
         containers:
         - name: cpu-load-gen
           image: registry.cn-zhangjiakou.aliyuncs.com/acs/slo-test-cpu-load-gen:v0.1
           command: ["cpu_load_gen.sh"]
           imagePullPolicy: Always
           resources:
             requests:
               cpu: 8 # 該應用的CPU請求資源為8核。
               memory: "1Gi"
             limits:
               cpu: 12
               memory: "2Gi"

4. 執行以下命令，通過安裝cpu-load-gen.yaml部署cpu-load-gen應用。

   kubectl apply -f cpu-load-gen.yaml

5. 執行以下命令，擷取資源規格畫像結果。

   kubectl get recommendations -l \
     "alpha.alibabacloud.com/recommendation-workload-apiVersion=apps-v1, \
     alpha.alibabacloud.com/recommendation-workload-kind=Deployment, \
     alpha.alibabacloud.com/recommendation-workload-name=cpu-load-gen" -o yaml

   說明

   為了確保畫像結果的準確性，建議您最少等待1天以上，以便累積充足的資料。

   ack-koordinator為每個開啟資源畫像的工作負載產生對應的資源規格畫像，並將結果儲存在Recommendation CRD中。名為cpu-load-gen.yaml的工作負載資源規格畫像結果樣本如下。

   apiVersion: autoscaling.alibabacloud.com/v1alpha1
   kind: Recommendation
   metadata:
     labels:
       alpha.alibabacloud.com/recommendation-workload-apiVersion: app-v1
       alpha.alibabacloud.com/recommendation-workload-kind: Deployment
       alpha.alibabacloud.com/recommendation-workload-name: cpu-load-gen
     name: f20ac0b3-dc7f-4f47-b3d9-bd91f906****
     namespace: recommender-demo
   spec:
     workloadRef:
       apiVersion: apps/v1
       kind: Deployment
       name: cpu-load-gen
   status:
     recommendResources:
       containerRecommendations:
       - containerName: cpu-load-gen
         target:
           cpu: 4742m
           memory: 262144k
         originalTarget: # 表示資源畫像演算法的中間結果，不建議直接使用。
          # ...

   為了便於檢索，Recommendation和工作負載的Namespace一致，同時在Label中儲存了工作負載的API Version、類型以及名稱，格式如下表所示。

   Label Key	說明	樣本
   alpha.alibabacloud.com/recommendation-workload-apiVersion	工作負載的API Version，由Kubernetes的Label規範約束，正斜線（/）將被替換為短劃線（-）。	app-v1（替換前為app/v1）
   alpha.alibabacloud.com/recommendation-workload-kind	對應的工作負載類型，例如Deployment、StatefulSet等。	Deployment
   alpha.alibabacloud.com/recommendation-workload-name	工作負載名稱，由Kubernetes的Label規範約束，長度不能超過63個字元。	cpu-load-gen

   各容器的資源規格畫像結果儲存在status.recommendResources.containerRecommendations中，各欄位含義如下表所示。

   欄位名稱	含義	格式	樣本
   containerName	表示容器名稱。	string	cpu-load-gen
   target	表示資源規格畫像結果，包括CPU和Memory兩個維度。	map[ResourceName]resource.Quantity	cpu: 4742mmemory: 262144k
   originalTarget	表示資源規格畫像演算法的中間結果，不建議直接使用。若您有特殊需求，請提交工單。	-	-

   說明

   單個Pod畫像的CPU最小值為0.025核，記憶體的最小值為250 MB。

   通過對比目標應用（cpu-load-gen.yaml）中聲明的資源規格和本步驟畫像檢測結果，以CPU為例，可以發現該容器的Request申請過大。您可以通過調小Request來節省叢集資源容量。

   類別	原始資源規格	資源畫像規格
   CPU	8核	4.742核

步驟二：（可選）通過Prometheus查看結果

FAQ

資源畫像的演算法原理是什嗎？

資源畫像對應用的類型有什麼要求？

適合於線上服務類應用使用。

目前資源畫像的結果優先考慮滿足容器的資源需求，確保可以覆蓋絕大部分資料樣本。不過對於離線應用來說，這種批處理類型的任務更加關注整體的吞吐，可以接受一定程度的資源競爭，以提高叢集資源的整體利用率，畫像結果對於離線應用來說會顯得有些保守。此外，對於關鍵的系統組件，通常以“主備”的形式部署多個副本，處於“備份”角色的副本長期處於閑置狀態，這些副本的資源用量樣本也會對畫像演算法產生一定程度的幹擾。針對以上情境，請對畫像結果按需加工後再使用，後續您可持續關注資源畫像的產品動態。

是否可以直接使用畫像值來設定容器的Request和Limit？

需要結合業務自身特點來判斷，資源畫像提供的結果是對應用當前資源需求情況的總結，管理員應結合應用自身特性，在畫像值的基礎之上加工後使用，例如考慮留有一定的容量來應對流量高峰，或是做“同城雙活”的無縫切換，都需要留有一定數量的資源冗餘；或者應用對資源較為敏感，無法在宿主機負載較高時平穩運行，也需要在畫像值的基礎上調高規格。

自建Prometheus如何查看資源畫像監控指標？

資源畫像的相關監控指標會在ack-koordinator組件的Koordinator Manager模組以Promethus的格式提供HTTP介面。您可以執行以下命令擷取Pod IP，並訪問查看指標資料。

# 執行以下命令擷取Pod IP地址
$ kubectl get pod -A -o wide | grep koord-manager
# 預期輸出，具體以實際情況為準
kube-system   ack-koord-manager-5479f85d5f-7xd5k                         1/1     Running            0                  19d   192.168.12.242   cn-beijing.192.168.xx.xxx   <none>           <none>
kube-system   ack-koord-manager-5479f85d5f-ftblj                         1/1     Running            0                  19d   192.168.12.244   cn-beijing.192.168.xx.xxx   <none>           <none>

# 執行以下命令查看指標資料（注意Koordinator Manager是雙副本主備模式，資料只會在主副本Pod中提供）
# 其中IP地址和連接埠請參考Koordinator Manager模組對應的Deployment配置
# 訪問前請確保當前執行命令的宿主機能與叢集的容器網路互連。
$ curl -s http://192.168.12.244:9326/metrics | grep slo_manager_recommender_recommendation_workload_target
# 預期輸出（具體以實際情況為準）
# HELP slo_manager_recommender_recommendation_workload_target Recommendation of workload resource request.
# TYPE slo_manager_recommender_recommendation_workload_target gauge
slo_manager_recommender_recommendation_workload_target{container_name="xxx",namespace="xxx",recommendation_name="xxx",resource="cpu",workload_api_version="apps/v1",workload_kind="Deployment",workload_name="xxx"} 2.406
slo_manager_recommender_recommendation_workload_target{container_name="xxx",namespace="xxx",recommendation_name="xxx",resource="memory",workload_api_version="apps/v1",workload_kind="Deployment",workload_name="xxx"} 3.861631195e+09

ack-koordinator組件安裝後，會自動建立Service和Service Monitor對象，關聯對應的Pod。如果您正在使用阿里雲Promethus，那麼這些指標會被自動採集，並展示在對應的Grafana大盤上。

由於Prometheus有多種採集方式，如果您使用的是自建Prometheus，請自行參見Prometheus官方文檔進行配置，並在配置過程中參考以上過程進行調試。調試完成後，您可參見步驟二：（可選）通過Prometheus查看結果，在環境中配置對應的Grafana監控大盤。

如何清理資源畫像結果和規則？

資源畫像結果和規則分別儲存在Recommendation和RecommendationProfile兩個CRD中，執行以下命令刪除所有資源畫像結果和規則。

# 刪除所有資源畫像結果。
kubectl delete recommendation -A --all

# 刪除所有資源畫像規則。
kubectl delete recommendationprofile -A --all

如何為子帳號使用資源畫像進行授權？

ACK的授權體系包含對基礎資源層的RAM授權和對ACK叢集層的RBAC（Role-Based Access Control）授權兩部分，有關ACK的授權體系介紹，請參見授權最佳實務。若您希望為某一子帳號授權使用叢集的資源畫像功能，推薦您參考以下最佳實務進行授權：

1. RAM授權

   您可以使用主帳號登入Resource Access Management控制台，為該子帳號授予系統內建的AliyunCSFullAccess許可權。具體操作，請參見授權概述。

2. RBAC授權

   完成RAM授權後，您還需要為該子帳號授予目的地組群中開發人員或以上的RBAC許可權。具體操作，請參見叢集資源許可權（RBAC授權）。

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: recommendation-clusterrole
- apiGroups:
  - autoscaling.alibabacloud.com
  resources:
  - '*'
  verbs:
  - '*'