Container Service for Kubernetes：使用ACK Net Exporter定位網路問題

安裝與配置ACK Net Exporter組件

安裝ACK Net Exporter組件

1. 登入Container Service管理主控台，在左側導覽列選擇市場 > 應用市場。

2. 在應用市場頁面搜尋ack-net-exporter，然後單擊搜尋到的組件。

3. 在ack-net-exporter組件頁面右上方單擊一鍵部署。

4. 在基本資料設定精靈中選擇需要部署組件的叢集，命名空間，然後單擊下一步。

5. 在參數配置設定精靈中設定參數，然後單擊確定。

   參數	描述	預設值
   name	ACK Net Exporter組件的名稱。	ack-net-exporter-default
   namespace	ACK Net Exporter組件的命名空間。	kube-system
   config.enableEventServer	是否開啟事件追蹤服務。取值： false：不開啟事件追蹤服務。 true：開啟事件追蹤服務。	false
   config.enableMetricServer	是否開啟指標採集服務。取值： false：不開啟指標採集服務。 true：開啟指標採集服務。	true
   config.remoteLokiAddress	推送事件的遠端Grafana Loki服務地址	預設為空白。
   config.metricLabelVerbose	是否開啟指標的詳情功能。取值： false：不開啟指標的詳情功能。 true：開啟指標的詳情功能。開啟後會額外將Pod的IP以及重要的標籤資訊作為指標的標籤資訊。	false
   config.metricServerPort	指標服務的連接埠，提供HTTP服務。	9102
   config.eventServerPort	事件服務的連接埠，提供GRPC Stream的事件流服務。	19102
   config.metricProbes	需要開啟的指標探針。詳細資料，請參見下文ACK Net Exporter指標列表。	預設為空白，不配置任何指標探針的情況下，會預設啟動必需探針。
   config.eventProbes	需要開啟的事件探針。詳細資料，請參見下文ACK Net Exporter事件詳解。	預設為空白，不配置任何指標探針的情況下，會預設啟動必需探針。

配置ACK Net Exporter組件

• 您可以執行如下命令，通過ConfigMap方式配置ACK Net Exporter組件。

  kubectl edit cm inspector-config -n kube-system

• 您也可以通過控制台配置ACK Net Exporter組件。

  1. 登入Container Service管理主控台，在左側導覽列單擊叢集。

  2. 在叢集列表頁面，單擊目的地組群名稱，然後在左側導覽列，選擇組態管理 > 配置項。

  3. 在配置項頁面，設定命名空間為kube-system，然後搜尋kubeskoop-config，單擊kubeskoop-config右側操作列下的編輯。

  4. 在編輯面板配置參數，然後單擊確定。

     ACK Net Exporter支援的配置項及其含義如下：

     參數	描述	預設值
     debugmode	是否開啟偵錯模式。取值： false：不開啟偵錯模式。 true：開啟偵錯模式。開啟後，支援DEBUG層級的日誌，調試介面，Go pprof和gops診斷工具。	false
     event_config.loki_enable	是否開啟事件向遠端Grafana Loki服務推送的功能。詳細資料，請參見下文使用Grafana Loki收集監控事件並可視化。取值： false：不開啟事件向遠端Grafana Loki服務推送的功能。 true：開啟事件向遠端Grafana Loki服務推送的功能。	false
     event_config.loki_address	遠端Grafana Loki服務的地址，預設會自動探索相同命名空間下的名為grafana-loki的服務。	預設為空白。
     event_config.probes	需要開啟的事件探針。詳細資料，請參見下文ACK Net Exporter事件詳解。	預設為空白，不配置任何指標探針的情況下，會預設啟動必需探針。
     event_config.port	事件服務的連接埠，提供GRPC Stream的事件流服務。	19102
     metric_config.verbose	是否開啟指標的詳情功能。取值： false：不開啟指標的詳情功能。 true：開啟指標的詳情功能。開啟後會額外將Pod的IP以及重要的標籤資訊作為指標的標籤資訊。	false
     metric_config.port	指標服務的連接埠，提供HTTP服務。	9102
     metric_config.probes	需要開啟的指標探針。詳細資料，請參見下文ACK Net Exporter指標列表。	預設為空白，不配置任何指標探針的情況下，會預設啟動必需探針。
     metric_config.interval	指標採集的事件間隔。由於指標採集存在一定效能損耗，因此ACK Net Exporter會定期採集後緩衝在記憶體中。	5

在v0.2.3版本及更新版本的ACK Net Exporter中，已經支援了配置的熱更新，如果您使用較早期的版本，在修改配置之後需要觸發ACK Net Exporter所有容器的重建來使配置變更生效。

ACK Net Exporter使用說明

在Alinux以外的作業系統上使用ACK Net Exporter

ACK Net Exporter的部分核心功能依賴於eBPF程式進行採集。為了滿足使用不同作業系統核心的需求，ACK Net Exporter採用CO-RE的方式實現eBPF程式的分發。在啟動過程中，依賴於與作業系統核心關聯的BTF檔案（作業系統核心的調試資訊中繼資料的檔案）進行載入。如果沒有適配的BTF檔案，這部分功能將不可用。在高版本的作業系統中，一般都會內建BTF檔案的支援。關於作業系統的更多資訊，請參見BPF Type Format。

ACK Net Exporter的監控指標及格式

inspector_pod_udprcvbuferrors{namespace="elastic-system",netns="ns402653****",node="iZbp179u0bgzhofjupc****",pod="elastic-operator-0"} 0 1654487977826

ACK Net Exporter的監控事件及格式

ACK Net Exporter支援採集節點上發生的網路相關的例外狀況事件。根據長期處理網路問題中的經驗，我們歸納了幾種常見的網路疑難問題。這些問題往往在叢集中難以無法複現，以偶然發生的方式幹擾正常的業務，缺乏有效定位手段，其中部分如下：

• 網路資料報文被丟棄引發的串連失敗，響應逾時等問題。

• 網路資料處理耗時久引發的偶發效能問題。

• TCP、conntrack等狀態機器制異常引發的業務異常問題。

針對無法快速複現和難以擷取現場的網路問題，ACK Net Exporter提供了基於eBPF的作業系統核心上下文觀測能力。在問題發生的現場捕獲作業系統的即時狀態，並輸出事件記錄。關於ACK Net Exporter支援的事件和相關的探針資訊，請參見ACK Net Exporter事件詳解。

type=TCPRESET_NOSOCK pod=storage-monitor-5775dfdc77-fj767 namespace=kube-system protocol=TCP saddr=100.103.42.233 sport=443 daddr=10.1.17.188 dport=33488

對於需要有效作業系統核心堆棧資訊的事件，ACK Net Exporter會捕獲事件發生時在作業系統核心中的堆棧上下文資訊。例如以下事件資訊。

type=PACKETLOSS pod=hostNetwork namespace=hostNetwork protocol=TCP saddr=10.1.17.172 sport=6443 daddr=10.1.17.176 dport=43018  stacktrace:skb_release_data+0xA3 __kfree_skb+0xE tcp_recvmsg+0x61D inet_recvmsg+0x58 sock_read_iter+0x92 new_sync_read+0xE8 vfs_read+0x89 ksys_read+0x5A

ACK Net Exporter支援多種事件查看方式，詳細介紹，請參見下文的從ACK Net Exporter收集監控資料。

從ACK Net Exporter收集監控資料

情境一：使用Prometheus或Grafana收集監控資料並可視化

# 只包含一個要抓取的端點的抓取配置。
scrape_configs:
# "net-exporter_sample"將作為“job=<job_name>”標籤添加到從此配置中抓取的任何時間序列中。
- job_name: "net-exporter_sample"
static_configs:
  - targets: ["{kubernetes pod ip}:9102"]
                

apiVersion: v1
kind: ConfigMap
metadata:
  name: prometheus-server-conf
  labels:
    name: prometheus-server-conf
  namespace: kube-system
data:
  prometheus.yml: |-
          # 將以下內容添加到Promethes Server配置中。
      - job_name: 'net-exporter'
        kubernetes_sd_configs:
          - role: endpoints
        relabel_configs:
        - source_labels: [__meta_kubernetes_endpoints_name]
          regex: 'net-exporter'
          action: keep

      - job_name: 'kubernetes-pods'

        kubernetes_sd_configs:
        - role: pod

        relabel_configs:
        - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_scrape]
          action: keep
          regex: true
        - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_path]
          action: replace
          target_label: __metrics_path__
          regex: (.+)
        - source_labels: [__address__, __meta_kubernetes_pod_annotation_prometheus_io_port]
          action: replace
          regex: ([^:]+)(?::\d+)?;(\d+)
          replacement: $1:$2
          target_label: __address__
        - action: labelmap
          regex: __meta_kubernetes_pod_label_(.+)
        - source_labels: [__meta_kubernetes_namespace]
          action: replace
          target_label: kubernetes_namespace
        - source_labels: [__meta_kubernetes_pod_name]
          action: replace
          target_label: kubernetes_pod_name

添加完成後，可以在Prometheus Server的Status > Targets介面看到已經生效的ACK Net Exporter執行個體，或者在Prometheus Server的Graph介面的搜尋欄中輸入inspector，即可看到自動補全的ACK Net Exporter指標。

您可以通過配置Grafana將Prometheus採集到的資料進行可視化操作：

1. 開啟Grafana頁面，在左側導覽列中選擇 > Dashboard。

2. 在New dashboard頁面單擊Add an empty panel。

3. 進入Edit Panel頁面，在下方Data source中輸入Prometheus，然後選擇已經完成Prometheus Server的介面地址。

4. 單擊Metric browser， 然後輸入inspector，Grafana會自動補全ACK Net Exporter所有就緒的Metric，單擊右上方Save，在彈出框中單擊Save，然後會出現可視化的資料，效果如下：

   

5. 對於使用Grafana進行可視化圖形顯示的配置，可以參照上述的指標格式，對指標的顯示格式進行調整，例如inspector_pod_tcppassiveopens指標，表徵系統自開機或者Pod所屬的容器建立後，歸屬於這個網路命名空間內的所有TCP串連由於接受用戶端的握手請求建立的Socket總數變化，通常可以認為是表徵TCP總串連數量的增長，為了更加直觀的反應增長的速率變化，可以參考以下配置：

   // 使用PromQL提供的rate()方法配置Metrics。
   rate(inspector_pod_tcppassiveopens[1m])
   
   // 使用net-exporter提供的標籤來配置Legend，直觀顯示Metrics。
   {{namespace}}/{{pod}}/{{node}}

情境二：使用應用即時監控服務ARMS收集監控資料並可視化

ACK Net Exporter支援通過應用即時監控服務ARMS進行資料視覺效果操作，步驟如下：

1. 步驟一：開啟阿里雲Prometheus監控。

2. 配置ACK Net Exporter自訂指標。

   1. 登入ARMS控制台，在左側導覽列中選擇Prometheus監控 > Prometheus執行個體列表。

   2. 登入ARMS控制台。

   3. 在頁面頂部，選擇Container ServiceACK叢集所在的地區

   4. 在左側導覽列選擇Prometheus監控 > 執行個體列表，進入可觀測監控 Prometheus 版的執行個體列表頁面。

   5. 單擊目標Prometheus執行個體名稱，進入整合中心頁面。

   6. 在執行個體列表頁面，單擊目標執行個體名稱（一般是叢集名稱）進入對應執行個體頁面。

   7. 在左側導覽列中單擊服務發現，然後單擊Targets頁簽，在頁面下方的kubernetes-pods選項頁可以看到ACK Net Exporter的指標已經配置成功。

      如果沒有找到相關的Pod，則需要您在配置頁簽下手動開啟預設服務發現的選項。

   8. 在左側導覽列中單擊大盤列表，單擊目標大盤進入Grafana，然後單擊添加Panel，選擇Graph類型，在Data source中選擇開啟ACK Net Exporter的叢集相關的資料來源。

   9. 單擊Metric browser， 然後輸入inspector，Grafana會自動補全ACK Net Exporter所有就緒的Metric，單擊右上方Save，在彈出框中單擊Save，然後會出現可視化的資料，效果如下：

情境三：使用Grafana Loki收集監控事件並可視化

ACK Net Exporter採集的例外狀況事件類型的資料，支援通過預先配置的Grafana Loki服務，由ACK Net Exporter向Loki進行即時推送，從而達到將分布式的例外狀況事件進行集中式的串型查看分析，使用ACK Net Exporter配合Grafana Loki的服務步驟如下：

1. 搭建Grafana Loki服務。

   說明

   服務需要位於ACK Net Exporter的Pod可以訪問的網路中，ACK Net Exporter會主動向已經配置並就緒的Grafana Loki服務推送事件記錄資訊。

2. 在安裝ACK Net Exporter的配置頁面中，將enableEventServer配置為true，將lokiServerAddress配置為Grafana Loki服務的地址。您可以配置Grafana Loki服務的IP地址，也可以配置Grafana Loki 服務的網域名稱。

3. 執行以下命令，訪問Grafana Loki的服務地址來檢驗Grafana Loki服務是否已就緒。

   curl http://[Grafana Loki執行個體的地址]:3100/ready

4. 待Grafana Loki服務就緒後，添加Grafana Loki作為Grafana的資料來源。

   開啟Grafana頁面，在左側導覽列中選擇Data source > Loki，輸入Grafana Loki的介面地址，單擊Save&test。

5. 在左側導覽列單擊Explore，在頁面頂部設定資料來源為Loki，查看輸出到Grafana Loki的事件資訊。

   您可以在Label filters下拉框中選擇過濾某個Node的事件，也可以在Line containers中輸入事件相關的資訊來查看具體的事件。

   您可以單擊頁面頂部的Add to dashboard，將配置好的事件Panel添加到大盤中。

   ACK Net Exporter提供的事件根據事件的類型攜帶了不同的資訊，單擊事件的詳情後，可以查看到詳細的事件發生時的資訊。

   Grafana Loki服務支援通過LogQL文法查詢資訊，詳細介紹，請參見LogQL。

情境四：使用ACK Net Exporter Cli工具收集監控事件

ACK Net Exporter Cli（以下簡稱inspector-cli）是ACK容器網路團隊基於ACK Net Exporter既有的能力，提供情境化的問題排查輔助分析，擷取即時核心例外狀況事件記錄的工具，針對雲原生情境設計，協助使用者快速定位常見問題的深層次原因。

# 啟動臨時容器用於使用incpector-cli，您可以更換鏡像的版本來使用更新版本的特性。
docker run -it --name=inspector-cli --network=host registry.cn-hangzhou.aliyuncs.com/acs/inspector:v0.0.1-12-gff0558c-aliyun

which inspector
# /bin/inspector 是inspector-cli的執行路徑，您可以直接在容器中使用inspector-cli。

# 通過‘-e’指定需要擷取事件的遠端ACK Net Exporter事件服務地址。
inspector watch -e 10.1.16.255

# 以下為結果樣本。
 INFO  TCP_RCV_RST_ESTAB Namespace=kube-system Pod=kube-proxy-worker-tbv5s Node=iZbp1jesgumdx66l8ym8j8Z Netns=4026531993 10.1.16.255:43186 -> 100.100.27.15:3128
...

您也可以選擇登入到ACK Net Exporter的inspector容器中排查問題。

# 執行命令時，需要將-n參數指定為net-exporter安裝的命名空間，同時執行需要登入的節點上的net-exporter執行個體。
kubectl exec -it -n kube-system -c inspector net-exporter-2rvfh -- sh

# 通過以下命令可以查看到當前節點上的網路資料面分布情況。
inspector list entity

# 通過以下命令可以監聽本地的網路例外狀況事件日誌及其資訊。
inspector watch -d -v
#{"time":"2023-02-03T09:01:03.402118044Z","level":"INFO","source":"/go/src/net-exporter/cmd/watch.go:63","msg":"TCPRESET_PROCESS","meta":"hostNetwork/hostNetwork node=izbp1dnsn1bwv9oyu2gaupz netns=ns0 ","event":"protocol=TCP saddr=10.1.17.113 sport=6443 daddr=10.1.17.113 dport=44226  state:TCP_OTHER "}

# 通過指定多個遠端的ACK Net Exporter執行個體，也可以觀察到不同節點上發生的時間。
inspector watch -s 10.1.17.113 -s 10.1.18.14 -d -v
            

如何使用ACK Net Exporter定位容器網路常見偶發疑難問題

以下內容提供了針對部分雲原生典型問題的排查指南，結合ACK Net Exporter，協助您快速擷取與問題有關的資訊。

DNS逾時相關問題

由於雲原生環境中很多服務依賴於CoreDNS提供網域名稱解析服務，在出現DNS問題時，如果出現問題的DNS請求與CoreDNS有關，您需要同時觀察CoreDNS相關Pod的上述指標的異常情況。

Nginx Ingress 499/502/503/504相關問題

在上述指標資訊的基礎上，根據指標在對應問題時間點的變化，可以縮小排查的範圍，如果憑藉指標無法定位到問題，您可以提交工單，在發起工單時提供上述的資訊，來協助客服同學快速瞭解情況，避免無效溝通。

TCP Reset報文相關問題

偶髮網絡延遲抖動相關問題

客戶案例分析

以下為部分容器網路客戶藉助ACK Net Exporter進行疑難問題排查分析的案例，您可以比對現象進行參考。

案例一：某客戶偶發DNS Timeout問題

客戶現象

客戶A發起工單，現象為有偶發的DNS解析逾時，使用者業務採用PHP，DNS服務為配置CoreDNS。

排查過程

1. 根據客戶描述，與客戶溝通後擷取客戶監控中的DNS相關資料。

2. 分析客戶報錯時間點內資料，發現以下問題。

   • 報錯時間內inspector_pod_udpnoports增加1，指標整體較小。

   • inspector_pod_packetloss中出現了符號__udp4_lib_rcv的丟包加1，這個符號的丟包數變化較少。

3. 客戶回函配置的DNS地址為公網某服務商地址，結合監控資訊，判斷客戶報錯根因為DNS請求返回較慢，使用者態逾時返回後，DNS回包到達。

案例二：某客戶Java應用偶發串連失敗問題

客戶現象

客戶B發起工單，現象為出現偶發的Tomcat不可用，每次出現期間約為5～10s。

排查過程

1. 經過日誌分析，確認現象發生時，客戶的Java Runtime進行中GC操作。

2. ACK Net Exporter監控部署後發現客戶在問題的時間點inspector_pod_tcpextlistendrops指標有明顯的上升。

3. 經過分析後得出結論，客戶的Java Runtime進行GC操作時，處理請求的速度變慢，導致請求的釋放變慢，但是請求的建立並沒有被限制，因此產生了大量的連結，將Listen Socket的Backlog打滿後產生溢出，導致inspector_pod_tcpextlistendrops上升。

4. 此問題中，客戶的串連堆積期間短，且本身處理能力沒有問題，因此建議客戶調整Tomcat相關參數後，解決了客戶問題。

案例三：某客戶偶髮網絡延遲抖動問題

客戶現象

客戶C發起工單，現象為客戶應用於Redis之間的請求出現了偶發的RTT增高導致業務逾時，但是無法複現。

排查過程

1. 經過日誌分析，客戶出現了偶發的Redis請求超過300ms的總回應時間的情況。

2. ACK Net Exporter部署後，從監控中發現了inspector_node_virtsendcmdlat指標在問題發生時有增長，增長的le（Prometheus監控中的Level）為18與15。經過換算得知此時出現過兩次延遲較高的虛擬化調用，其中le為15的產生了36ms以上的延遲，而le為18的產生了200ms以上的延遲。

3. 由於核心的虛擬化調用執行時會佔據CPU，無法被搶佔，因此客戶的偶發延遲是由於Pod的批量增刪過程中有一些虛擬化調用執行過久導致。

案例四：某客戶Ingress Nginx偶發健全狀態檢查失敗問題

客戶現象

客戶D發起工單，現象為客戶的Ingress機器有偶發的健全狀態檢查失敗並伴隨著業務請求失敗的問題。

排查過程

1. ACK Net Exporter部署監控後發現客戶出現問題是多個指標有異常的變化。

   1. inspector_pod_tcpsummarytcprxqueue與inspector_pod_tcpsummarytcptxqueue均出現了上升。

   2. inspector_pod_tcpexttcptimeouts出現了上升。

   3. inspector_pod_tcpsummarytcptimewaitconn下降，inspector_pod_tcpsummarytcpestablishedconn上升。

2. 經過分析後確認在問題發生的時間點，核心工作正常，串連的建立正常，但是使用者進程的運行出現了異常，包括處理收取Socket中的報文以及實際執行報文的發送操作，推測此時使用者進程存在調度問題或者限制問題。

3. 建議使用者查看Cgroup的監控後發現客戶在問題時間點出現了CPU Throttled現象，證明此時出現了偶發的使用者進程由於Cgroup原因無法得到調度的現象。

4. 按照文檔CPU Burst效能最佳化策略，為Ingress配置CPU Burst功能後，解決了這一類問題。

相關內容

ACK Net Exporter指標列表

在ACK Net Exporter更新過程中指標會有新增或變更，詳細資料請參考應用市場組件頁面的說明。除net_softirq/virtcmdlat等與Pod本身無關的邏輯外，所有的指標與事件均提供Pod粒度的詳細資料。

ACK Net Exporter事件詳解

ACK Net Exporter當前最新版本支援即時捕獲以下作業系統網路相關的例外狀況事件。

推薦使用的Grafana設定檔

• 如果您使用的是v8.4.0以上版本的Grafana，請單擊ACK Net Exporter-0.2.9.json連結擷取Grafana設定檔。

• 如果您使用的是v8.4.0及以下版本的Grafana，請單擊ACK Net Exporter-legacy.json連結擷取Grafana設定檔。