Processor是包含線上預測邏輯(模型載入和請求預測邏輯)的程式包,如果EAS提供的官方通用Processor無法滿足模型部署需求,則可以根據Processor的開發標準自訂Processor。
Processor部署
準備好模型和Processor檔案等服務部署前的準備內容後,分別上傳至儲存雲產品(OSS、NAS),EAS通過掛載儲存雲產品來擷取部署前所需的準備內容進行服務部署。
EAS Processor部署流程如下。
此方式的部署要點如下。
PAI為您提供了多個典型情境的官方Processor供您使用,您也可以結合業務需求自行開發模型並開發自訂Processor檔案,完成後分別上傳至阿里雲儲存產品OSS或NAS。
建議您將模型和Processor檔案獨立開發分別儲存,後續可在部署時配置模型掛載路徑,Processor檔案中可使用get_model_path參數來擷取配置的模型路徑,便於後續模型需頻繁迭代更新時,可方便地替換模型。
使用Processor部署時,EAS會根據您選用的推理架構自動拉取官方環境鏡像來部署服務,並基於Processor檔案自動為您部署一個HTTP Server用於接收後續調用服務的請求。
說明
使用Processor方式部署時,您需要保障模型的推理架構和Processor檔案的開發符合開發環境要求,不如鏡像部署方式靈活高效,因此更建議您使用鏡像方式進行模型部署。
開發自訂Processor
支援使用以下程式設計語言開發自訂Processor:
C或C++,詳情請參見使用C或C++開發自訂Processor。
Java,詳情請參見使用Java開發自訂Processor。
Python,詳情請參見使用Python開發自訂Processor。