人工智能平台 PAI：附录：服务状态码说明

原因：

• 对于平台提供的通用Processor（例如Tensorflow或Pytorch），如果请求输入格式有问题，导致服务端无法识别，则返回状态码400。

• 对于自定义Processor，如果代码抛出异常，会在服务端返回状态码400。

  说明

  您也可以在自定义Processor中返回任意自定义的状态码。

处理方法：

1. 服务Token在服务部署时会自动生成。您也可以在服务初次部署时，通过在配置文件中增加Token字段来指定固定Token值，在服务更新时Token值保持不变。

2. 您可以在控制台的PAI EAS模型在线服务页面，单击目标服务操作列下的在线调试，查询到服务访问的Token；也可以通过eascmd desc service_name命令来获取服务的Token信息。

3. 访问服务。

   • 在使用curl命令进行服务测试时，您可以直接将Token值以HTTP Header的方式添加到请求中，例如：curl -H 'Authorization: NWMyN2UzNjBiZmI2YT***' http:// xxx.cn-shanghai.aliyuncs.com/api/predict/echo。

   • 在使用SDK访问服务时，调用对应的SetToken()函数即可，详情请参见Java SDK使用说明。

原因：服务端的计算实例在接收到请求后，会先将请求放入队列中进行排队。当实例中的worker（worker数量默认为5，您可以在创建服务的JSON文件中配置metadata.rpc.worker_threads字段来调整worker数量）空闲时，会从队列中获取数据进行计算。当worker计算时间过长，导致队列中请求堆积。当队列打满时（队列长度默认为64，您可以在创建服务的JSON文件中配置metadata.rpc.max_queue_size字段来调整队列长度），新来的请求会直接被拒绝，并返回状态码450，来避免队列过度堆积导致所有请求RT越来越高最终服务不可用。

处理方法：

• 当返回的状态码有少量450时，因为服务端的实例是相互独立的，您可以通过重试调度到其他相对空闲的实例上，避免客户端感知，但不能无限重试，否则限流的保护作用会失效。

• 当Processor内部代码卡住时，所有请求均返回状态码450。当所有worker在处理请求时出现死锁等场景，导致没有worker从队列中获取数据进行处理，这种场景需要排查Processor代码的Bug。

原因：服务端为每个请求配置了默认的超时时间（默认为5秒，您可以在创建服务的JSON文件中配置metadata.rpc.keepalive字段来调整超时时间），当单个请求的处理时长超过metadata.rpc.keepalive字段配置的值后，服务端会返回状态码408，来中断该请求的处理，并断开该请求所在的TCP连接。