K8s事件包括叢集的狀態變更,例如建立Pod、運行Pod、刪除Pod、組件異常。K8s事件中心即時收集Kubernetes叢集中的所有事件並提供儲存、查詢、分析、可視化、警示等能力。本文介紹建立及使用K8s事件中心的操作步驟。
背景資訊
Kubernetes的架構設計基於狀態機器,不同的狀態之間進行轉換則會產生相應的事件,正常的狀態之間轉換會產生Normal等級的事件,正常狀態與異常狀態之間的轉換會產生Warning等級的事件。
ACK提供開箱即用的容器情境事件監控方案,通過ACK維護的NPD以及包含在NPD中的kube-eventer提供容器事件監控能力。
NPD(node-problem-detector)是Kubernetes節點診斷的工具,可以將節點的異常,例如Docker Engine Hang、Linux Kernel Hang、網路出網異常、檔案描述符異常轉換為Node的事件,結合kube-eventer可以實現節時間點事件警示的閉環。更多資訊,請參見NPD。
kube-eventer是ACK維護的開源Kubernetes事件離線工具,可以將叢集的事件離線到DingTalk、SLS、EventBridge等系統,並提供不同等級的過濾條件,實現事件的即時採集、定向警示、非同步歸檔。更多資訊,請參見kube-eventer。
前提條件
已建立Kubernetes叢集(例如阿里雲ACK叢集、ACK Serverless叢集等)。
計費說明
K8s事件中心具備如下條件時,免費使用。
K8s事件中心關聯的Logstore的儲存時間為90天(預設90天)。
每天寫入K8s事件中心的資料量少於256 MB(大約25萬條事件)。
例如:
不調整儲存時間(預設90天),且K8s叢集每天產生1000條事件,則K8s事件中心免費使用。
調整儲存時間為105天,且K8s叢集每天產生1000條事件,則超過90天后,K8s事件中心會產生Logstore儲存費用(計費項目為儲存空間-日誌儲存)。關於儲存空間-日誌儲存計費項目的更多資訊,請參見按使用功能計費模式計費項目。
步驟一:部署kube-eventer和node-problem-detector
阿里雲Kubernetes
如果是ACK叢集,則對應阿里雲Kubernetes組件中的ack-node-problem-detector組件已整合eventer和node-problem-detector功能,您只需要部署該組件。更多資訊,請參見事件監控。如果是ACK Serverless叢集,您需要部署kube-eventer組件。
NPD根據配置與第三方外掛程式檢測節點的問題或故障、產生相應的叢集事件。而Kubernetes叢集自身也會因為叢集狀態的切換產生各種事件,例如Pod驅逐、鏡像拉取失敗等異常情況。Log ServiceSLS(Log Service)的Kubernetes事件中心即時匯聚Kubernetes中的所有事件並提供儲存、查詢、分析、可視化、警示等能力。將叢集事件接入Log Service的Kubernetes事件中心操作步驟如下。
其他Kubernetes
部署eventer。
安裝kubectl工具。具體操作,請參見通過kubectl串連Kubernetes叢集。
使用以下範例建立名為eventer.yaml的設定檔。
apiVersion: apps/v1 kind: Deployment metadata: labels: name: kube-eventer name: kube-eventer namespace: kube-system spec: replicas: 1 selector: matchLabels: app: kube-eventer template: metadata: labels: app: kube-eventer annotations: scheduler.alpha.kubernetes.io/critical-pod: '' spec: dnsPolicy: ClusterFirstWithHostNet serviceAccount: kube-eventer containers: - image: registry.cn-hangzhou.aliyuncs.com/acs/kube-eventer:v1.2.5-cc7ec54-aliyun name: kube-eventer command: - "/kube-eventer" - "--source=kubernetes:https://kubernetes.default" ## .send to sls ## --sink=sls:https://{endpoint}?project={project}&logStore=k8s-event®ionId={region-id}&internal=false&accessKeyId={accessKeyId}&accessKeySecret={accessKeySecret} - --sink=sls:https://cn-beijing.log.aliyuncs.com?project=k8s-xxxx&logStore=k8s-event®ionId=cn-beijing&internal=false&accessKeyId=xxx&accessKeySecret=xxx env: # If TZ is assigned, set the TZ value as the time zone - name: TZ value: "Asia/Shanghai" volumeMounts: - name: localtime mountPath: /etc/localtime readOnly: true - name: zoneinfo mountPath: /usr/share/zoneinfo readOnly: true resources: requests: cpu: 10m memory: 50Mi limits: cpu: 500m memory: 250Mi volumes: - name: localtime hostPath: path: /etc/localtime - name: zoneinfo hostPath: path: /usr/share/zoneinfo --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRole metadata: name: kube-eventer rules: - apiGroups: - "" resources: - events verbs: - get - list - watch --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata: name: kube-eventer roleRef: apiGroup: rbac.authorization.k8s.io kind: ClusterRole name: kube-eventer subjects: - kind: ServiceAccount name: kube-eventer namespace: kube-system --- apiVersion: v1 kind: ServiceAccount metadata: name: kube-eventer namespace: kube-system
配置項
類型
是否必選
說明
endpoint
string
必選
Log Service的Endpoint。更多資訊,請參見服務入口。
project
string
必選
Log Service的Project。
logStore
string
必選
Log Service的Logstore。
internal
string
自建Kubernetes:必選。
自建Kubernetes必須設定為false。
regionId
string
自建Kubernetes:必選。
Log Service所在地區ID。更多資訊,請參見服務入口。
accessKeyId
string
自建Kubernetes:必選。
AccessKey ID,建議使用RAM使用者的AccessKey資訊。更多資訊,請參見存取金鑰。
accessKeySecret
string
自建Kubernetes:必選。
AccessKey Secret,建議使用RAM使用者的AccessKey資訊。更多資訊,請參見存取金鑰。
執行以下命令,將eventer.yaml中的配置應用到叢集。
kubectl apply -f eventer.yaml
預期輸出:
deployment.apps/kube-eventer created clusterrole.rbac.authorization.k8s.io/kube-eventer created clusterrolebinding.rbac.authorization.k8s.io/kube-eventer created serviceaccount/kube-eventer created
部署node-problem-detector。
具體操作,請參見Github。
步驟二:建立K8s事件中心執行個體
建立K8s事件中心後,Log Service自動在目標Project中產生一個名為k8s-event
的Logstore,並產生相關聯的儀錶盤等。
在日誌應用地區的智能營運頁簽中,單擊K8s事件中心。
在事件中心管理頁面,單擊頁面右上方的添加。
在建立事件中心面板,配置相關參數,然後單擊下一步。
如果選擇已有Project,則從Project下拉框中選擇已建立的Project,用於管理K8s事件中心相關資源(Logstore、儀錶盤等)。
如果選擇從Container Service選擇K8s叢集,則從K8s叢集下拉框中選擇已建立的K8s叢集。通過此方式建立K8s事件中心,Log Service預設建立一個名為
k8s-log-{cluster-id}
的Project,用於管理K8s事件中心相關資源(Logstore、儀錶盤等)。
步驟三:使用K8s事件中心執行個體
建立K8s事件中心並部署eventer和NPD後,即可在K8s事件中心查看事件總覽、查詢事件詳情、查看Pod生命週期、查看節時間點事件、查看核心組件事件、設定警示、自訂查詢和更新版本等。
在K8s事件中心頁面,找到目標K8s事件中心執行個體,單擊表徵圖,可進行如下操作。
操作 | 說明 |
查看事件總覽 | 事件總覽頁面用於展示核心事件的匯總統計資訊。例如事件總數、今天Error事件數目與昨天的對比、警示項統計、Error事件趨勢、Pod OOM詳細資料等。 說明 目前Pod OOM資訊不能精確到Pod,只能定位到事件發生的節點、進程名、進程號。您可以通過自訂查詢尋找Pod OOM發生時間點附近的Pod重啟事件,以此定位到具體的Pod。 |
查詢事件詳情 | 事件詳情查詢頁面用於展示經過各種維度(事件類型、事件目標、Host、Namespace、Name)過濾後的事件詳細資料。 |
查看Pod生命週期 | Pod生命週期頁面以圖形化方式展示Pod整個生命週期中的事件資訊。您還可以通過事件等級篩選重要的Pod事件。 |
查看節時間點事件 | 節時間點事件頁面用於展示節時間點事件詳情。例如Node生命週期、事件列表等。 |
查看核心組件事件 | 核心組件事件頁面用於展示核心組件事件詳情。例如ECS重啟失敗、URL模式未執行等。 |
設定警示 | 在警示配置頁面,您可以為K8s事件中心設定警示。具體操作,請參見設定警示。 |
自訂查詢 | 在自訂查詢頁面,您可以自訂查詢和分析語句。 K8s事件中心的所有事件都儲存在Logstore中,您可以使用Logstore中的所有功能,例如自訂查詢、消費事件、建立自訂報表、建立自訂警示等。更多資訊,請參見查詢和分析日誌。 如果您要訪問K8s事件中心所在的Project,可通過以下兩種方式擷取Project名稱。
|
更新版本 | 在版本更新頁面,您可以升級K8s事件中心的版本。 |
刪除K8s事件中心執行個體
在
頁面,單擊執行個體名稱後操作列的表徵圖。日誌範例
採集到的日誌範例如下所示。
hostname: cn-hangzhou.i-***********"
level: Normal
pod_id: 2a360760-****
pod_name: logtail-ds-blkkr
event_id: {
"metadata":{
"name":"logtail-ds-blkkr.157b7cc90de7e192",
"namespace":"kube-system",
"selfLink":"/api/v1/namespaces/kube-system/events/logtail-ds-blkkr.157b7cc90de7e192",
"uid":"2aaf75ab-****",
"resourceVersion":"6129169",
"creationTimestamp":"2019-01-20T07:08:19Z"
},
"involvedObject":{
"kind":"Pod",
"namespace":"kube-system",
"name":"logtail-ds-blkkr",
"uid":"2a360760-****",
"apiVersion":"v1",
"resourceVersion":"6129161",
"fieldPath":"spec.containers{logtail}"
},
"reason":"Started",
"message":"Started container",
"source":{
"component":"kubelet",
"host":"cn-hangzhou.i-***********"
},
"firstTimestamp":"2019-01-20T07:08:19Z",
"lastTimestamp":"2019-01-20T07:08:19Z",
"count":1,
"type":"Normal",
"eventTime":null,
"reportingComponent":"",
"reportingInstance":""
}
日誌欄位 | 資料類型 | 說明 |
hostname | String | 事件發生所在的主機名稱。 |
level | String | 日誌等級,包括Normal、Warning。 |
pod_id | String | Pod的唯一標識,僅在該事件類型和Pod相關時才具有此欄位。 |
pod_name | String | Pod名,僅在該事件類型和Pod相關時才具有此欄位。 |
event_id | JSON | 事件的詳細內容。該欄位為JSON類型的字串。 |
常見問題
K8s事件中心執行個體無資料
部署好K8s事件中心後,新產生的事件會自動採集到K8s事件中心,您可以在自訂查詢頁面進行搜尋(建議將右上方時間範圍調整到1天)。如果無資料,一般有兩個原因:
部署K8s事件中心後,K8s叢集還未產生事件。
您可以通過
kubectl get events --all-namespaces
命令檢查叢集內是否有新事件產生。部署eventer和node-problem-detector時,參數填寫錯誤。
如果您使用的是阿里雲Kubernetes叢集,請參考如下步驟。
在叢集頁面中,單擊目的地組群。
在左側導覽列中,選擇
。在Helm頁面中,單擊ack-node-problem-detector後的更新。
檢查並修改參數配置。更多資訊,請參見步驟一:部署eventer和node-problem-detector。
如果您使用的是自建Kubernetes叢集,參數配置請參見採集Kubernetes事件。
如何查看事件對應容器的日誌?
如果您使用的是阿里雲Kubernetes叢集,請參考如下步驟。
在叢集頁面中,單擊目的地組群。
在左側導覽列中,選擇
。將命名空間選擇為kube-system。
在容器組列表中,單擊目標容器組對應的日誌。
如果您使用的是自建Kubernetes叢集,請查看namespace為kube-system下檔案名稱首碼為eventer-sls的Pod日誌。