开通EAS后,系统会默认为您创建公共资源组,您可以直接使用公共资源组来部署模型服务。本文为您介绍公共资源组的概要信息。
适用场景
公共资源组建议在任务量相对较少、对任务时效性要求不高的场景下使用。
计费说明
开始计费
公共资源组支持使用机器资源或机器型号来部署模型服务,服务一旦部署并处于运行中时,系统就开始计费,详情请参见EAS计费说明。
建议及时停止无用的模型服务,以免产生不必要的费用。
使用EAS客户端命令创建服务时,支持配置系统盘容量,详情请参见服务模型所有相关参数说明。PAI为公共资源组每个实例机器节点免费提供30 GB的系统盘容量,超出容量按量计费,系统盘创建成功后开始计费,计费详情请参见EAS计费说明。
停止计费
在PAI EAS 模型在线服务页面的服务列表页签,单击目标服务操作列下的停止,即可停止模型服务和计费,详情请参见服务部署:控制台&Designer。
如果部署服务时额外购买了系统盘,只有删除服务,才能停止计费。
请确保被停止的服务不需要再使用,以免造成不必要的业务损失。
使用指导
公共资源组不需要单独购买,开通EAS后即可使用。
如果您的客户端需要通过VPC高速直连访问来降低网络时延,或者EAS服务需要访问您在同一VPC下的其他云产品等,您可以通过配置网络连通来实现上述能力,详情请参见配置网络连通。
您也可以为公共资源组配置日志服务,部署到公共资源组的EAS服务产生的日志会存储到日志服务中,方便对EAS服务进行实时监控,详情请参见配置资源组日志服务。
使用以下任意一种方式将服务部署至公共资源组。
控制台方式
在模型在线服务(EAS)页面部署模型服务,其中资源组种类选择公共资源组,详情请参见服务部署:控制台。
EASCMD方式
通过EASCMD客户端部署模型服务,详情请参见服务部署:EASCMD或DSW。
支持使用指定机器资源或指定机器型号来部署服务。
使用机器资源来部署服务的配置方式如下。
{ "metadata": { "instance": 2, "cpu": 1, "memory": 2000 }, "cloud": { "computing": {} }, "name": "test", "model_path": "http://examplebucket.oss-cn-shanghai.aliyuncs.com/models/model.tar.gz", "processor": "tensorflow_cpu_1.12" }
使用机型来部署服务的配置方式如下,需在服务配置文件中增加cloud.computing.instance_type字段,用以指定实例的机型。
{ "name": "tf_serving_test", "model_path": "http://examplebucket.oss-cn-shanghai.aliyuncs.com/models/model.tar.gz", "processor": "tensorflow_gpu_1.12", "cloud":{ "computing":{ "instance_type":"ecs.gn6i-c24g1.6xlarge" } }, "metadata": { "instance": 1, "cuda": "9.0", "memory": 7000, "gpu": 1, "cpu": 4 } }
其中instance_type支持配置的机型如下。
实例规格
实例名称
ecs.c5.6xlarge
c5(24vcpu+48GB)
ecs.c6.2xlarge
c6(8vcpu+16GB)
ecs.c6.4xlarge
c6(16vcpu+32GB)
ecs.c6.6xlarge
c6(24vcpu+48GB)
ecs.c6.8xlarge
c6(32vcpu+64GB)
ecs.g5.6xlarge
g5(24vcpu+96GB)
ecs.g6.2xlarge
g6(8vcpu+32GB)
ecs.g6.4xlarge
g6(16vcpu+64GB)
ecs.g6.6xlarge
g6(24vcpu+96GB)
ecs.g6.8xlarge
g6(32vcpu+128GB)
ecs.gn5-c28g1.7xlarge
28vcpu+112GB+1*P100
ecs.gn5-c4g1.xlarge
4vcpu+30GB+1*P100
ecs.gn5-c8g1.2xlarge
8vcpu+60GB+1*P100
ecs.gn5-c8g1.4xlarge
16vcpu+120GB+2*P100
ecs.gn5i-c4g1.xlarge
4vcpu+16GB+1*P4
ecs.gn5i-c8g1.2xlarge
8vcpu+32GB+1*P4
ecs.gn6i-c16g1.4xlarge
16vcpu+62GB+1*T4
ecs.gn6i-c24g1.12xlarge
48vcpu+186GB+2*T4
ecs.gn6i-c24g1.6xlarge
48vcpu+186GB+2*T4
ecs.gn6i-c4g1.xlarge
4vcpu+15GB+1*T4
ecs.gn6i-c8g1.2xlarge
8vcpu+31GB+1*T4
ecs.gn6v-c8g1.2xlarge
8vcpu+32GB+1*V100
ecs.r6.2xlarge
r6(8vcpu+64GB)
ecs.r6.4xlarge
r6(16vcpu+128GB)
ecs.r6.6xlarge
r6(24vcpu+192GB)
ecs.r6.8xlarge
r6(32vcpu+256GB)
ecs.g7.2xlarge
g7(8vcpu+32GB)
ecs.g7.4xlarge
g7(16vcpu+64GB)
ecs.g7.6xlarge
g7(24vcpu+96GB)
ecs.g7.8xlarge
g7(32vcpu+128GB)
ecs.c7.2xlarge
c7(8vcpu+16GB)
ecs.c7.4xlarge
c7(16vcpu+32GB)
ecs.c7.6xlarge
c7(24vcpu+48GB)
ecs.c7.8xlarge
c7(32vcpu+64GB)
ecs.r7.2xlarge
r7(8vcpu+64GB)
ecs.r7.4xlarge
r7(16vcpu+128GB)
ecs.r7.6xlarge
r7(24vcpu+192GB)
ecs.r7.8xlarge
r7(32vcpu+256GB)
ecs.g7.16xlarge
g7(64vcpu+256GB)
ecs.c7.16xlarge
c7(64vcpu+128GB)
ecs.r7.16xlarge
r7(64vcpu+512GB)
ecs.gn7i-c8g1.2xlarge
8vcpu+30GB+1*A10
ecs.gn7i-c16g1.4xlarge
16vcpu+60GB+1*A10
ecs.gn7i-c32g1.8xlarge
32vcpu+188GB+1*A10
ecs.gn6e-c12g1.3xlarge
12vcpu+92GB+1*V100
ecs.g6.xlarge
g6(4vcpu+16GB)
ecs.c6.xlarge
c6(4vcpu+8GB)
ecs.r6.xlarge
r6(4vcpu+32GB)
ecs.g6.large
g6(2vcpu+8GB)
ecs.c6.large
c6(2vcpu+4GB)
ecs.r6.large
r6(2vcpu+16GB)
ecs.c7a.large
AMD(2vcpu+4GB)
ecs.c7a.xlarge
AMD(4vcpu+8GB)
ecs.c7a.2xlarge
AMD(8vcpu+16GB)
ecs.c7a.4xlarge
AMD(16vcpu+32GB)
ecs.c7a.8xlarge
AMD(32vcpu+64GB)
ecs.c7a.16xlarge
AMD(64vcpu+128GB)
ecs.g7a.large
AMD(2vcpu+8GB)
ecs.g7a.xlarge
AMD(4vcpu+16GB)
ecs.g7a.2xlarge
AMD(8vcpu+32GB)
ecs.g7a.4xlarge
AMD(16vcpu+64GB)
ecs.g7a.8xlarge
AMD(32vcpu+128GB)
ecs.g7a.16xlarge
AMD(64vcpu+256GB)