Platform For AI：部署非同步推理服務

訪問非同步推理服務

如上文介紹，系統會預設為您建立和非同步推理服務同名的服務分組，因分組內的隊列子服務擁有分組流量入口，您可以直接通過下述路徑訪問隊列子服務，詳情請參見訪問佇列服務。

管理非同步推理服務

您可以像管理普通服務一樣管理非同步推理服務，該服務的子服務會由系統自動管理。比如，當您刪除非同步推理服務時，隊列子服務和推理子服務都將被同時刪除。或者當您更新推理子服務時，隊列子服務維持不變以擷取最大的可用性。

由於採用了子服務架構，雖然您為非同步推理子服務配置了1個執行個體，執行個體列表中仍會額外顯示一個隊列子服務執行個體。

非同步推理服務的執行個體數量指的是推理子服務執行個體的數量，隊列子服務的執行個體數量會隨著推理子服務的執行個體數量自動變化。比如，當您將推理子服務執行個體數量擴容到3時，隊列子服務的執行個體數量擴容到了2。

兩個子服務間的執行個體數量配比規則如下：

• 當非同步推理服務被停止，則隊列子服務和推理子服務的執行個體數量均會縮容到0，這時看到的執行個體列表為空白。

• 當推理子服務的執行個體數量為1時，隊列子服務的執行個體數量也將為1，除非您配置了隊列子服務的參數。

• 當推理子服務的執行個體數量超過2時，隊列子服務的執行個體數量將保持為2，除非您配置了隊列子服務的參數。

• 當您為非同步推理服務配置了自動擴縮容功能，且配置了最小的執行個體數量為0，則當推理子服務縮容到0時，隊列子服務將保持1個執行個體待命。

隊列子服務參數配置及說明

大多數情況下，隊列子服務使用預設配置即可正常使用。如果有特殊需求，您可以通過在JSON檔案中最外層的queue配置塊來配置隊列執行個體。樣本如下：

{  
  "queue": {
     "sink": {
        "memory_ratio": 0.3
     },
     "source": {
        "auto_evict": true,
     }
 }

下面介紹具體的配置項。

配置隊列子服務資源

隊列子服務的資源會預設按照metadata中的欄位進行配置，但是在有些使用情境下，您需要參考本章節，對隊列子服務的資源進行單獨配置。

• 通過queue.resource聲明隊列子服務所使用的資源群組。

  {
    "queue": {
      "resource": eas-r-slzkbq4tw0p6xd****  # 預設跟隨推理子服務資源群組。
    }
  }

  • 隊列子服務預設跟隨推理子服務的資源群組。

  • 當您需要使用公用資源群組部署隊列子服務時，可以聲明resource為空白字串（""），這在您的專屬資源群組CPU和記憶體不充足時非常有用。

    說明

    推薦使用公用資源群組部署隊列子服務。

• 通過queue.cpu和queue.memory聲明每個隊列子服務執行個體所使用的CPU（單位：核心數）和記憶體大小（單位：MB）。

  {
    "queue": {
       "cpu": 2,  # 預設值為1。
       "memory": 8000  # 預設值為4000。
    }
  }

  如果您沒有進行資源配置，隊列子服務將按照1 CPU核、4 GB記憶體進行預設配置。這可以滿足大多數情境的需求。

  重要

  • 如果您的訂閱者（比如推理子服務執行個體的數量）數量超過200時，建議將CPU核心數配置為2核以上。

  • 不建議在生產環境中縮小隊列子服務的記憶體配置。

• 通過queue.min_replica配置隊列子服務執行個體的最小數量。

  {
    "queue": {
       "min_replica": 3  # 預設為1。
    }
  }

  在使用非同步推理服務時，隊列子服務執行個體的數量將根據推理子服務執行個體的運行時數量自動調整，預設的調整區間為[1, min{2, 推理子服務執行個體的數量}]。特殊情況下，如果配置非同步推理服務的自動擴縮容規則並允許將執行個體數量縮小到0時，將自動保留1個隊列子服務執行個體。您也可以通過queue.min_replica調整最小保留的隊列子服務執行個體數量。

  說明

  增加隊列子服務執行個體的數量可以提高可用性，但不能提高隊列子服務的效能。

配置隊列子服務功能

隊列子服務擁有多項可配置的功能，您可以通過以下配置方法進行調整。

• 通過queue.sink.auto_evict或者queue.source.auto_evict分別配置輸出/輸入隊列自動資料驅逐功能。

  {
    "queue": {
       "sink": {
          "auto_evict": true  # 輸出隊列開啟自動驅逐，預設為false。
        },
        "source": {
           "auto_evict": true  # 輸入隊列開啟自動驅逐，預設為false。
        }
    }
  }

  預設情況下隊列子服務的自動資料驅逐功能處於關閉狀態，如果您的隊列已滿將無法繼續輸入資料。在某些情境下，如果您允許資料在隊列中溢出，可以選擇開啟自動資料驅逐功能，隊列將自動驅逐最老的資料以允許新資料寫入。

• 通過queue.max_delivery配置最大投遞次數。

  {
     "queue": {
        "max_delivery": 10  # 最大投遞次數為10，預設值：5。當配置為0時，最大投遞次數關閉, 資料可以被無限次投遞。
     }
  }

  當單條資料的嘗試投遞次數超過設定閾值時，該資料將被視為無法處理，並將其標記為死信。詳情請參見隊列執行個體的死信策略。

• 通過queue.max_idle配置資料的最大處理時間。

  {
      "queue": {
        "max_idle": "1m"  # 配置單條資料最大處理時間長度為1分鐘，如果超過該時間將被投遞給其它訂閱者, 投遞完畢後投遞次數+1。預設值為0，即沒有最大處理時間長度。
      }
  }

  樣本中配置的時間長度為1分鐘，支援多種時間單位，如h（小時）、m（分鐘）、s（秒）。如果單條資料處理的時間超過了這裡配置的時間長度，則有兩種可能：

  • 如果未超過queue.max_delivery設定的閾值，該條資料會被投遞給其他訂閱者。

  • 如果已超過queue.max_delivery設定的閾值，該條資料將會被執行死信策略。

• 通過queue.dead_message_policy配置死信策略。

  {
      "queue": {
        "dead_message_policy":  "Rear"  # 枚舉值為Rear（預設值）或者Drop, Rear即為放入隊列末尾，Drop將該條資料刪除。 																 
      }
  }

配置隊列最大長度或最巨量資料體積

隊列子服務的最大長度和最巨量資料體積是此消彼長的關係，計算關係如下所示：

隊列子服務執行個體記憶體是固定的，因此如果調整單條資料最大體積，則會導致該隊列最大長度減小。

• 通過queue.sink.max_length或者queue.source.max_length分別配置輸出隊列/輸入隊列的最大長度。

  {
      "queue": {
         "sink": {
            "max_length": 8000  # 配置輸出隊列最大長度為8000條資料。
         },
         "source": {
            "max_length": 2000  # 配置輸入隊列最大長度為2000條資料。
         }
      }
  }

• 通過queue.sink.max_payload_size_kb或者queue.source.max_payload_size_kb分別配置輸出隊列/輸入隊列單條資料最巨量資料體積。

  {
      "queue": {
         "sink": {
            "max_payload_size_kb": 10  # 配置輸出隊列單條資料最大體積是10 KB, 預設8 kB。
         },
         "source": {
            "max_payload_size_kb": 1024  # 配置輸入隊列單條資料最大體積是1024 KB(1MB), 預設是8 kB。
         }
      }
  }

配置記憶體配置傾斜

• 通過queue.sink.memory_ratio來調整輸入輸出兩個隊列佔用的記憶體大小。

  {
      "queue": {
         "sink": {
            "memory_ratio": 0.9  # 配置輸出隊列記憶體佔比，預設值為0.5。
         }
      }
  }

  說明

  預設配置下，輸入隊列和輸出隊列均分隊列子服務執行個體的記憶體。如果您的服務需要輸入文本、輸出圖片，並期望在輸出隊列存放更多資料，則可以將queue.sink.memory_ratio相應提高；相反，如果您期望輸入圖片、輸出文本，則可以將queue.sink.memory_ratio相應減小。