Container Service for Kubernetes：Container Service警示管理

功能使用情境

Container Service警示配置功能集合容器情境的監控警示能力，提供警示的統一組態管理，有如下幾個典型的使用情境：

• 叢集營運

  可以通過監控警示瞭解叢集管控、儲存、網路、彈性擴縮容等例外狀況事件。例如：

  • 通過叢集資源異常警示規則集感知叢集基礎資源的關鍵計量是否異常。例如，CPU、Memory、網路等關鍵計量是否出現高水位情況，避免影響叢集穩定性。

  • 通過配置並查看叢集例外狀況事件警示規則集感知叢集節點或容器節點異常。例如，叢集節點Docker進程異常、叢集節點進程異常及叢集容器副本啟動失敗等異常。

  • 通過配置並查看叢集儲存例外狀況事件警示規則集感知叢集儲存的變更與異常。

  • 通過配置並查看叢集網路例外狀況事件警示規則集感知叢集網路的變更與異常。

  • 通過配置並查看叢集管控營運異常警示規則集感知叢集管控的變更與異常等。

• 應用開發

  可以通過監控警示瞭解在叢集中運行應用的例外狀況事件、指標是否異常。例如，叢集容器副本異常或者應用Deployment的CPU、記憶體水位指標是否超過閾值等。可通過開啟警示配置功能中的預設警示規則模板，即可快速接受叢集內應用程式容器副本的例外狀況事件警示通知。例如，通過配置並訂閱關注叢集容器副本異常警示規則集感知所屬應用的Pod是否異常。

• 應用管理

  關注運行在叢集上的應用健康、容量規劃、叢集運行穩定性及異常甚至是錯誤判警等貫穿應用生命週期的一系列問題。例如，通過配置並訂閱關注叢集重要事件警示規則集感知叢集內所有Warning、Error等異常警示；關注叢集資源異常警示規則集感知叢集的資源情況，從而更好地做容量規劃等。

• 多叢集管理

  當您有多個叢集需要管理，為叢集配置警示規則往往會是一個重複繁瑣且難以同步的操作。Container Service警示配置功能，支援通過叢集內部署CRD配置的方式管理警示規則。可通過維護多個叢集中同樣配置的CRD資源，來方便快捷地實現多叢集中警示規則的同步配置。

組件安裝與升級

控制台會自動檢測警示配置環境是否符合要求，並會引導進行開通或安裝、升級組件。

1. 登入Container Service管理主控台。

2. 在控制台左側導覽列，單擊叢集。

3. 在叢集列表頁面，單擊目的地組群名稱或者目的地組群右側操作列下的詳情。

4. 在叢集管理頁左側導覽列，選擇營運管理 > 警示配置。

5. 在警示配置頁面控制台會自動檢查以下條件。

   若不符合條件，請按以下提示完成操作。

   • 已開通SLSLog Service雲產品。當您首次使用Log Service時，需要登入Log Service控制台，根據頁面提示開通Log Service。

     說明

     關於Log Service的詳細計費，請參見按使用功能付費模式計費項目。

   • 已安裝事件中心。具體操作，請參見事件監控。

   • 叢集託管組件alicloud-monitor-controller升級到最新版本。更多資訊，請參見alicloud-monitor-controller。

   

如何接入警示配置功能

目前Container Service警示規則配置功能支援ACK託管版叢集、ACK專有版叢集。

步驟一：開啟預設警示規則

• 建立ACK託管版叢集時，開啟使用預設警示模板配置警示開關，並選擇警示通知連絡人分組。

  開啟後將會建立預設警示規則，並預設發送警示通知到此連絡人分組。

  具體操作，請參見建立Kubernetes託管版叢集。

• 若已建立叢集，可在目的地組群開啟對應警示規則。

  1. 在目的地組群左側導覽列選擇營運管理 > 警示配置組態管理。

  2. 在警示規則管理頁簽，開啟啟動狀態可開啟對應警示規則集。

  具體操作，請參見步驟二：手動設定警示規則。

步驟二：手動設定警示規則

ACK託管版叢集、ACK專有版叢集建立後，可進行警示規則、連絡人和連絡人分組管理。

1. 登入Container Service管理主控台。

2. 在控制台左側導覽列，單擊叢集。

3. 在叢集列表頁面，單擊目的地組群名稱或者目的地組群右側操作列下的詳情。

4. 在叢集管理頁左側導覽列，選擇營運管理 > 警示配置。

   功能特性	說明
   警示規則管理	Container Service警示規則功能會預設產生容器情境下的警示模板（包含例外狀況事件警示、異常指標警示）。 警示規則被分類為若干個警示規則集，可為警示規則集關聯多個連絡人分組，並啟動或關閉警示規則集。 警示規則集中包含多個警示規則，一個警示規則對應單個異常的檢查項。多個警示規則集可以通過一個YAML資源配置到對應叢集中，修改YAML會同步產生警示規則。 關於警示規則YAML配置，請參見如何通過CRD配置警示規則。 關於預設警示規則模板，請參見預設警示規則模板。
   警示歷史	目前可查看最近發送的近100條記錄。單擊警示規則列下的連結，可以跳轉到對應監控系統中查看詳細規則配置；單擊排查現場，可以快速定位到異常發生的資源頁面（例外狀況事件、指標異常的資源）。
   連絡人管理	對連絡人進行管理，可建立、編輯或刪除連絡人。 叢集資源異常警示規則集中叢集節點基礎資源警示，連絡人簡訊、郵箱等連絡方式需要在CloudMonitor中先驗證連絡方式，才能正常接收叢集基礎資源警示資訊。可在CloudMonitor控制台查看同步連絡人，若驗證資訊到期，可刪除CloudMonitor中對應連絡人並重新重新整理Container Service警示中心的連絡人頁面。
   連絡人分組管理	對連絡人分組進行管理，可建立、編輯或刪除連絡人分組。當無連絡人分組時，控制台會從您的阿里雲帳號註冊資訊中同步建立一個預設連絡人分組。

5. 在警示規則管理頁簽，單擊編輯通知對象可設定關聯的通知對象；開啟啟動狀態可開啟對應警示規則集。

如何通過CRD配置警示規則

警示配置功能開啟時，會預設在kube-system Namespace下建立一個AckAlertRule類型的資源配置，包含預設警示規則模板。Container Service警示規則集可通過此資源配置在叢集中。

1. 登入Container Service管理主控台。

2. 在控制台左側導覽列，單擊叢集。

3. 在叢集列表頁面，單擊目的地組群名稱或者目的地組群右側操作列下的詳情。

4. 在叢集管理頁左側導覽列，選擇營運管理 > 警示配置。

5. 在警示規則管理頁簽中，單擊右上方編輯警示配置，可查看當前叢集中的AckAlertRule資源配置，並可通過YAML檔案修改。

   警示規則配置的YAML檔案樣本如下：

   apiVersion: alert.alibabacloud.com/v1beta1
   kind: AckAlertRule
   metadata:
     name: default
   spec:
     groups:
       #以下是一個叢集事件警示規則配置範例。
       - name: pod-exceptions                             #警示規則分組名，對應警示模板中的Group_Name欄位。
         rules:
           - name: pod-oom                                #警示規則名。
             type: event                                  #警示規則類型（Rule_Type），枚舉值為event（事件類型）、metric-cms（CloudMonitor指標類型）。
             expression: sls.app.ack.pod.oom              #警示規則運算式，當規則類型為event時，運算式的值為本文預設警示規則模板中Rule_Expression_Id值。
             enable: enable                               #警示規則開啟狀態，枚舉值為enable、disable。
           - name: pod-failed
             type: event
             expression: sls.app.ack.pod.failed
             enable: enable
       #以下是一個叢集基礎資源警示規則配置範例。
       - name: res-exceptions                              #警示規則分組名，對應警示模板中的Group_Name欄位。
         rules:
           - name: node_cpu_util_high                      #警示規則名。
             type: metric-cms                              #警示規則類型（Rule_Type），枚舉值為event（事件類型）、metric-cms（CloudMonitor指標類型）。
             expression: cms.host.cpu.utilization          #警示規則運算式，當規則類型為metric-cms時，運算式的值為本文預設警示規則模板中Rule_Expression_Id值。
             contactGroups:                                #警示規則映射的連絡人分組配置，由ACK控制台產生，同一個帳號下連絡人相同，可在多叢集中複用。
             enable: enable                                #警示規則開啟狀態，枚舉值為enable、disable。
             thresholds:                                   #警示規則閾值，詳情見文檔如何更改警示規則閾值部分。            
               - key: CMS_ESCALATIONS_CRITICAL_Threshold
                 unit: percent
                 value: '1'

預設警示規則模板

如何為專有版叢集授予警示功能存取權限

為專有版叢集SLS警示功能及ARMS-Prometheus警示功能授予資源存取權限。更多資訊，請參見RAM自訂授權情境及存取控制概述。

1. 登入Container Service管理主控台。

2. 在控制台左側導覽列，單擊叢集。

3. 在叢集列表頁面，單擊目的地組群名稱或者目的地組群右側操作列下的詳情。

4. 在叢集資訊頁面，單擊叢集資源頁簽Worker RAM角色欄位右側的連結，進入RAM存取控制控制台。

   

5. 在角色頁面的許可權管理頁簽，單擊對應權限原則名稱的連結。

6. 在策略內容頁簽單擊修改策略內容，然後將以下內容添加到策略內容中。

   {
               "Action": [
                   "log:*",
                   "arms:*",
                   "cms:*",
                   "cs:UpdateContactGroup"
               ],
               "Resource": [
                   "*"
               ],
               "Effect": "Allow"
   }

7. 單擊繼續編輯基本資料，然後單擊確定完成配置。

8. 通過日誌查看警示功能存取權限是否已配置。

   1. 在Container Service管理主控台目的地組群管理頁左側導覽列，選擇工作負載 > 無狀態。

   2. 選擇命名空間kube-system，單擊無狀態應用列表中alicloud-monitor-controller的名稱連結。

   3. 單擊日誌頁簽，可看到授權成功的Pod日誌。

如何修改叢集基礎資源警示規則的閾值

Rule_Type為metric-cms的警示規則，是同步自CloudMonitor的基礎資源警示規則，此類規則可通過CRD配置警示規則的閾值。具體操作，請參見如何通過CRD配置警示規則。

本樣本通過叢集節點-CPU使用率規則的警示規則CRD，增加thresholds參數配置基礎監控警示規則的閾值、重試判斷次數、靜默期配置。

apiVersion: alert.alibabacloud.com/v1beta1
kind: AckAlertRule
metadata:
  name: default
spec:
  groups:
    #以下是一個叢集基礎資源警示規則配置範例。
    - name: res-exceptions                                        #警示規則分組名，對應警示模板中的Group_Name欄位。
      rules:
        - name: node_cpu_util_high                                #警示規則名。
          type: metric-cms                                        #警示規則類型（Rule_Type），枚舉值為event（事件類型）、metric-cms（CloudMonitor指標類型）。
          expression: cms.host.cpu.utilization                    #警示規則運算式，當規則類型為metric-cms時，運算式的值為本文預設警示規則模板中Rule_Expression_Id值。
          contactGroups:                                          #警示規則映射的連絡人分組配置，由ACK控制台產生，同一個帳號下連絡人相同，可在多叢集中複用。
          enable: enable                                          #警示規則開啟狀態，枚舉值為enable、disable。
          thresholds:                                             #警示規則閾值，更多資訊，請參見如何通過CRD配置警示規則。
            - key: CMS_ESCALATIONS_CRITICAL_Threshold
              unit: percent
              value: '1'  
            - key: CMS_ESCALATIONS_CRITICAL_Times
              value: '3'  
            - key: CMS_RULE_SILENCE_SEC
              value: '900'  

如何在對應監控系統中查看ACK警示中心警示規則

• Log Service的警示規則：

  1. 登入Log Service控制台。

  2. 搜尋並進入此叢集Log Service對應的Project。叢集預設Log ServiceProject命名為K8s-log-{{clusterId}}。

  3. 在左側導覽列，單擊表徵圖，在警示中心頁面中，單擊規則/事務頁簽，查看已開啟的規則。類別選擇Container ServiceKubernetes，可篩選展示ACK警示中心同步的此叢集的預設警示規則。

     說明

     需要您開啟ACK警示中心的警示規則，否則無法顯示類別。

• CloudMonitor警示規則：

  1. 登入CloudMonitor控制台。

  2. 在左側導覽列，單擊應用分組，在應用分組列表頁面，單擊資源標籤規則頁簽。

  3. 在規則描述列，尋找資源標籤鍵：ack.aliyun.com，資源標籤值：等於為<叢集ID>的規則。

• Prometheus警示規則：登入ARMS控制台，查看ACK警示中心在此叢集已經同步的Prometheus警示規則。警示規則名在Prometheus控制台中以警示規則名_叢集名展示。

常見問題

警示規則同步失敗且報錯資訊為The Project does not exist : k8s-log-xxx

問題現象：

問題原因：

未建立SLS事件中心資源。

解決方案：

1. 在Log Service管理主控台檢查Project是否達到Quota上限，刪除多餘的Project，或提交工單申請擴大Project資源Quota限制。關於如何刪除Project，請參見管理Project。

2. 重新安裝ack-node-problem-detector組件。

   1. 在Container Service管理主控台目的地組群管理頁左側導覽列中，選擇應用 > Helm。

   2. 若您需要通過YAML方式重新安裝ack-node-problem-detector組件，請通過以下操作備份ack-node-problem-detector組件資源。

      在Helm頁面，單擊ack-node-problem-detector組件右側操作列的更新。更新完成後，單擊ack-node-problem-detector組件右側操作列詳情。在ack-node-problem-detector組件詳情頁，單擊所有資源資訊的查看YAML，並儲存各資源的YAML到本地。

   3. 在Helm頁面，單擊ack-node-problem-detector組件右側操作列的刪除。

   4. 在叢集管理頁左側導覽列中，選擇營運管理 > 組件管理。

   5. 單擊日誌與監控頁簽，在ack-node-problem-detector組件的卡片中單擊安裝。

      在提示對話方塊中確認版本資訊後單擊確定。安裝成功後，對應組件卡片地區會提示已安裝，且可查看組件目前的版本。

由於無訂閱的連絡人群組導致警示規則同步失敗

問題現象：

當警示中心中警示規則同步狀態出現如下情況：

問題原因：

警示規則無訂閱的連絡人群組。

解決方案：

1. 已建立連絡人，並將連絡人加入連絡人分組中。

2. 在對應警示規則集右側單擊編輯通知對象，為該組警示規則配置訂閱的連絡人分組。

關於上述操作的詳情，請參見如何接入警示配置功能。