全部产品
Search
文档中心

人工智能平台 PAI:服务部署:自定义Processor

更新时间:Dec 03, 2024

Processor是包含在线预测逻辑(模型加载和请求预测逻辑)的程序包,如果EAS提供的官方通用Processor无法满足模型部署需求,则可以根据Processor的开发标准自定义Processor。

Processor部署

准备好模型和Processor文件等服务部署前的准备内容后,分别上传至存储云产品(OSS、NAS),EAS通过挂载存储云产品来获取部署前所需的准备内容进行服务部署。

EAS Processor部署流程如下。

image

此方式的部署要点如下。

  • PAI为您提供了多个典型场景的官方Processor供您使用,您也可以结合业务需求自行开发模型并开发自定义Processor文件,完成后分别上传至阿里云存储产品OSS或NAS。

  • 建议您将模型和Processor文件独立开发分别存储,后续可在部署时配置模型挂载路径,Processor文件中可使用get_model_path参数来获取配置的模型路径,便于后续模型需频繁迭代更新时,可方便地替换模型。

  • 使用Processor部署时,EAS会根据您选用的推理框架自动拉取官方环境镜像来部署服务,并基于Processor文件自动为您部署一个HTTP Server用于接收后续调用服务的请求。

说明

使用Processor方式部署时,您需要保障模型的推理框架和Processor文件的开发符合开发环境要求,不如镜像部署方式灵活高效,因此更建议您使用镜像方式进行模型部署。

开发自定义Processor

支持使用以下编程语言开发自定义Processor:

使用自定义Processor部署模型服务

自定义Processor开发完成后,建议在本地调试通过后再进行线上服务部署。您可以通过EAS控制台上传或EASCMD工具进行服务部署:

  • 控制台上传

    选择Processor种类自定义processor,详情请参见服务部署:控制台

  • EASCMD工具部署

    部署时,将resource字段配置为您已购买的专属资源组ID,详情请参见命令使用说明