Processor是包含在线预测逻辑(模型加载和请求预测逻辑)的程序包,如果EAS提供的官方通用Processor无法满足模型部署需求,则可以根据Processor的开发标准自定义Processor。
Processor部署
准备好模型和Processor文件等服务部署前的准备内容后,分别上传至存储云产品(OSS、NAS),EAS通过挂载存储云产品来获取部署前所需的准备内容进行服务部署。
EAS Processor部署流程如下。
此方式的部署要点如下。
PAI为您提供了多个典型场景的官方Processor供您使用,您也可以结合业务需求自行开发模型并开发自定义Processor文件,完成后分别上传至阿里云存储产品OSS或NAS。
建议您将模型和Processor文件独立开发分别存储,后续可在部署时配置模型挂载路径,Processor文件中可使用get_model_path参数来获取配置的模型路径,便于后续模型需频繁迭代更新时,可方便地替换模型。
使用Processor部署时,EAS会根据您选用的推理框架自动拉取官方环境镜像来部署服务,并基于Processor文件自动为您部署一个HTTP Server用于接收后续调用服务的请求。
说明
使用Processor方式部署时,您需要保障模型的推理框架和Processor文件的开发符合开发环境要求,不如镜像部署方式灵活高效,因此更建议您使用镜像方式进行模型部署。
开发自定义Processor
支持使用以下编程语言开发自定义Processor:
C或C++,详情请参见使用C或C++开发自定义Processor。
Java,详情请参见使用Java开发自定义Processor。
Python,详情请参见使用Python开发自定义Processor。