Alibaba Cloud Service Mesh：使用ASM構建分布式系統的容錯能力

逾時處理

原理介紹

當請求上遊服務的時候，存在上遊服務一直沒有響應的現象。您可以設定一個等待時間，到達一個等待時間後，如果上遊服務還是沒有響應，直接請求失敗，不再去等待上遊服務。

通過設定逾時，可以確保應用程式在後端服務無響應時可以收到錯誤返回，從而使其能夠以適當的回退行為進行處理。逾時更改的是發出請求的用戶端等待響應的時間，對目標服務的處理行為沒有影響。因此這並不意味著請求的操作失敗。

解決方案

ASM支援在虛擬服務中為路由設定逾時策略來更改逾時值，如果Sidecar代理在設定的時間內未收到響應，則該請求將失敗。通過這種方式調整逾時，所有使用路由的請求都將使用該逾時設定。

apiVersion: networking.istio.io/v1beta1
kind: VirtualService
metadata:
  name: httpbin
spec:
  hosts:
  - 'httpbin'
  http:
  - route:
    - destination:
        host: httpbin
    timeout: 5s

timeout：設定逾時時間，如果在設定的時間內請求的服務沒有響應，則直接返回錯誤結果，不再等待。

重試機制

原理介紹

解決方案

ASM支援使用虛擬服務定義HTTP請求重試策略。以下樣本定義網格中的服務要求httpbin應用時，如果httpbin應用無響應或與httpbin應用建立串連失敗，會重新請求httpbin應用3次，每次的請求時間為5秒。

apiVersion: networking.istio.io/v1beta1
kind: VirtualService
metadata:
  name: httpbin
spec:
  hosts:
  - 'httpbin'
  http:
  - route:
    - destination:
        host: httpbin
    retries:
      attempts: 3
      perTryTimeout: 5s
        retryOn: connect-failure,reset

您可以在retries結構中配置如下欄位，自訂Sidecar對請求進行重試的行為。

配置預設HTTP請求重試策略

1. 登入ASM控制台，在左側導覽列，選擇服務網格 > 網格管理。

2. 在網格管理頁面，單擊目標執行個體名稱，然後在左側導覽列，選擇網格執行個體 > 基本資料。

3. 在基本資料頁面的配置資訊地區，單擊預設HTTP請求重試策略右側的編輯。

4. 在預設HTTP請求重試策略對話方塊，配置相關資訊，然後單擊確定。

   配置項	說明
   重試次數	對應上文的attempts。在預設HTTP請求重試策略中，該欄位可以配置為0，表示預設禁用HTTP請求重試。
   重試逾時	對應上文的perTryTimeout。
   重試條件	對應上文的retryOn。

隔板模式

原理介紹

解決方案

ASM支援通過目標規則設定隔板模式，以下目標規則定義了其他服務要求httpbin應用時，最大並發串連數限制為1，每個串連最大請求數為1，最大請求重試次數為1，並且不能在10秒內建立已連線的服務會得到503響應。

apiVersion: networking.istio.io/v1beta1
kind: DestinationRule
metadata:
  name: httpbin
spec:
  host: httpbin
  trafficPolicy:
    connectionPool:
      http:
        http1MaxPendingRequests: 1
        maxRequestsPerConnection: 1
      tcp:
        connectTimeout: 10s
        maxConnections: 1

• http1MaxPendingRequests：最大請求重試次數。

• maxRequestsPerConnection：每個串連最大請求數。

• connectTimeout：連線逾時時間。

• maxConnections：最大串連數。

熔斷機制

apiVersion: networking.istio.io/v1beta1
kind: DestinationRule
metadata:
  name: httpbin
spec:
  host: httpbin
  trafficPolicy:
    outlierDetection:
      consecutiveErrors: 3
      interval: 5s
      baseEjectionTime: 5m
      maxEjectionPercent: 100

配置主機級熔斷指標採集及警示

配置完成上報主機分級的熔斷指標後，您可以配置採集相關指標到Prometheus，並基於關鍵計量配置警示規則，實現熔斷髮生時的及時警示。以下以可觀測監控Prometheus版為例說明如何配置主機級熔斷指標採集和警示。

1. 在可觀測監控Prometheus版中，為資料面叢集接入阿里雲ASM組件或升級至最新版，以保證可觀測監控Prometheus版可以採集到暴露的熔斷指標。有關更新接入組件的具體操作，參考接入組件管理。（如果參考整合自建Prometheus實現網格監控配置了通過自建Prometheus採集服務網格指標，則無需操作。）

2. 建立針對主機級熔斷的警示規則。具體操作，請參見通過自訂PromQL建立Prometheus警示規則。配置警示規則的關鍵參數的填寫樣本如下，其餘參數可參考上述文檔根據自身需求填寫。

   參數	樣本	說明
   自訂PromQL語句	(sum (envoy_cluster_outlier_detection_ejections_active) by (cluster_name, namespace)) > 0	樣本通過查詢envoy_cluster_outlier_detection_ejections_active指標來判斷當前叢集中是否有正在被驅逐的主機，並將查詢結果按照服務所在命名空間和服務名稱進行分組。
   警示內容	觸發級熔斷，有工作負載連續發生錯誤，從服務負載平衡池中被驅逐！命名空間：{{$labels.namespace}}，驅逐發生的服務：{{$labels.cluster_name}}。驅逐數量：{{ $value }}	樣本的警示資訊展示了觸發熔斷的服務所在命名空間以及服務名稱，以及當前該服務被驅逐的數量。