全部產品
Search
文件中心

Platform For AI:服務部署:自訂Processor

更新時間:Dec 04, 2024

Processor是包含線上預測邏輯(模型載入和請求預測邏輯)的程式包,如果EAS提供的官方通用Processor無法滿足模型部署需求,則可以根據Processor的開發標準自訂Processor。

Processor部署

準備好模型和Processor檔案等服務部署前的準備內容後,分別上傳至儲存雲產品(OSS、NAS),EAS通過掛載儲存雲產品來擷取部署前所需的準備內容進行服務部署。

EAS Processor部署流程如下。

此方式的部署要點如下。

  • PAI為您提供了多個典型情境的官方Processor供您使用,您也可以結合業務需求自行開發模型並開發自訂Processor檔案,完成後分別上傳至阿里雲儲存產品OSS或NAS。

  • 建議您將模型和Processor檔案獨立開發分別儲存,後續可在部署時配置模型掛載路徑,Processor檔案中可使用get_model_path參數來擷取配置的模型路徑,便於後續模型需頻繁迭代更新時,可方便地替換模型。

  • 使用Processor部署時,EAS會根據您選用的推理架構自動拉取官方環境鏡像來部署服務,並基於Processor檔案自動為您部署一個HTTP Server用於接收後續調用服務的請求。

說明

使用Processor方式部署時,您需要保障模型的推理架構和Processor檔案的開發符合開發環境要求,不如鏡像部署方式靈活高效,因此更建議您使用鏡像方式進行模型部署。

開發自訂Processor

支援使用以下程式設計語言開發自訂Processor:

使用自訂Processor部署模型服務

自訂Processor開發完成後,建議在本地調試通過後再進行線上服務部署。您可以通過EAS控制台上傳或EASCMD工具進行服務部署:

  • 控制台上傳

    選擇Processor種類自訂processor,詳情請參見服務部署:控制台

  • EASCMD工具部署

    部署時,將resource欄位配置為您已購買的專屬資源群組ID,詳情請參見命令使用說明