開通EAS後,系統會預設為您建立公用資源群組,您可以直接使用公用資源群組來部署模型服務。本文為您介紹公用資源群組的概要資訊。
適用情境
公用資源群組建議在任務量相對較少、對任務時效性要求不高的情境下使用。
計費說明
開始計費
公用資源群組支援使用機器資源或機器型號來部署模型服務,服務一旦部署並處於運行中時,系統就開始計費,詳情請參見EAS計費說明。
建議及時停止無用的模型服務,以免產生不必要的費用。
使用EAS用戶端命令建立服務時,支援配置系統硬碟容量,詳情請參見服務模型所有相關參數說明。PAI為公用資源群組每個執行個體機器節點免費提供30 GB的系統硬碟容量,超出容量隨用隨付,系統硬碟建立成功後開始計費,計費詳情請參見EAS計費說明。
停止計費
在PAI EAS 模型線上服務頁面的服務列表頁簽,單擊目標服務操作列下的停止,即可停止模型服務和計費,詳情請參見服務部署:控制台&Designer。
如果部署服務時額外購買了系統硬碟,只有刪除服務,才能停止計費。
請確保被停止的服務不需要再使用,以免造成不必要的業務損失。
使用指導
公用資源群組不需要單獨購買,開通EAS後即可使用。
如果您的用戶端需要通過VPC高速直連訪問來降低網路時延,或者EAS服務需要訪問您在同一VPC下的其他雲產品等,您可以通過配置網路連通來實現上述能力,詳情請參見配置網路連通。
您也可以為公用資源群組配置Log Service,部署到公用資源群組的EAS服務產生的日誌會儲存到Log Service中,方便對EAS服務進行即時監控,詳情請參見配置資源群組Log Service。
使用以下任意一種方式將服務部署至公用資源群組。
控制台方式
在模型線上服務(EAS)頁面部署模型服務,其中資源群組種類選擇公用資源群組,詳情請參見服務部署:控制台。
EASCMD方式
通過EASCMD用戶端部署模型服務,詳情請參見服務部署:EASCMD或DSW。
支援使用指定機器資源或指定機器型號來部署服務。
使用機器資源來部署服務的配置方式如下。
{ "metadata": { "instance": 2, "cpu": 1, "memory": 2000 }, "cloud": { "computing": {} }, "name": "test", "model_path": "http://examplebucket.oss-cn-shanghai.aliyuncs.com/models/model.tar.gz", "processor": "tensorflow_cpu_1.12" }
使用機型來部署服務的配置方式如下,需在服務組態檔中增加cloud.computing.instance_type欄位,用以指定執行個體的機型。
{ "name": "tf_serving_test", "model_path": "http://examplebucket.oss-cn-shanghai.aliyuncs.com/models/model.tar.gz", "processor": "tensorflow_gpu_1.12", "cloud":{ "computing":{ "instance_type":"ecs.gn6i-c24g1.6xlarge" } }, "metadata": { "instance": 1, "cuda": "9.0", "memory": 7000, "gpu": 1, "cpu": 4 } }
其中instance_type支援配置的機型如下。
執行個體規格
執行個體名稱
ecs.c5.6xlarge
c5(24vcpu+48GB)
ecs.c6.2xlarge
c6(8vcpu+16GB)
ecs.c6.4xlarge
c6(16vcpu+32GB)
ecs.c6.6xlarge
c6(24vcpu+48GB)
ecs.c6.8xlarge
c6(32vcpu+64GB)
ecs.g5.6xlarge
g5(24vcpu+96GB)
ecs.g6.2xlarge
g6(8vcpu+32GB)
ecs.g6.4xlarge
g6(16vcpu+64GB)
ecs.g6.6xlarge
g6(24vcpu+96GB)
ecs.g6.8xlarge
g6(32vcpu+128GB)
ecs.gn5-c28g1.7xlarge
28vcpu+112GB+1*P100
ecs.gn5-c4g1.xlarge
4vcpu+30GB+1*P100
ecs.gn5-c8g1.2xlarge
8vcpu+60GB+1*P100
ecs.gn5-c8g1.4xlarge
16vcpu+120GB+2*P100
ecs.gn5i-c4g1.xlarge
4vcpu+16GB+1*P4
ecs.gn5i-c8g1.2xlarge
8vcpu+32GB+1*P4
ecs.gn6i-c16g1.4xlarge
16vcpu+62GB+1*T4
ecs.gn6i-c24g1.12xlarge
48vcpu+186GB+2*T4
ecs.gn6i-c24g1.6xlarge
48vcpu+186GB+2*T4
ecs.gn6i-c4g1.xlarge
4vcpu+15GB+1*T4
ecs.gn6i-c8g1.2xlarge
8vcpu+31GB+1*T4
ecs.gn6v-c8g1.2xlarge
8vcpu+32GB+1*V100
ecs.r6.2xlarge
r6(8vcpu+64GB)
ecs.r6.4xlarge
r6(16vcpu+128GB)
ecs.r6.6xlarge
r6(24vcpu+192GB)
ecs.r6.8xlarge
r6(32vcpu+256GB)
ecs.g7.2xlarge
g7(8vcpu+32GB)
ecs.g7.4xlarge
g7(16vcpu+64GB)
ecs.g7.6xlarge
g7(24vcpu+96GB)
ecs.g7.8xlarge
g7(32vcpu+128GB)
ecs.c7.2xlarge
c7(8vcpu+16GB)
ecs.c7.4xlarge
c7(16vcpu+32GB)
ecs.c7.6xlarge
c7(24vcpu+48GB)
ecs.c7.8xlarge
c7(32vcpu+64GB)
ecs.r7.2xlarge
r7(8vcpu+64GB)
ecs.r7.4xlarge
r7(16vcpu+128GB)
ecs.r7.6xlarge
r7(24vcpu+192GB)
ecs.r7.8xlarge
r7(32vcpu+256GB)
ecs.g7.16xlarge
g7(64vcpu+256GB)
ecs.c7.16xlarge
c7(64vcpu+128GB)
ecs.r7.16xlarge
r7(64vcpu+512GB)
ecs.gn7i-c8g1.2xlarge
8vcpu+30GB+1*A10
ecs.gn7i-c16g1.4xlarge
16vcpu+60GB+1*A10
ecs.gn7i-c32g1.8xlarge
32vcpu+188GB+1*A10
ecs.gn6e-c12g1.3xlarge
12vcpu+92GB+1*V100
ecs.g6.xlarge
g6(4vcpu+16GB)
ecs.c6.xlarge
c6(4vcpu+8GB)
ecs.r6.xlarge
r6(4vcpu+32GB)
ecs.g6.large
g6(2vcpu+8GB)
ecs.c6.large
c6(2vcpu+4GB)
ecs.r6.large
r6(2vcpu+16GB)
ecs.c7a.large
AMD(2vcpu+4GB)
ecs.c7a.xlarge
AMD(4vcpu+8GB)
ecs.c7a.2xlarge
AMD(8vcpu+16GB)
ecs.c7a.4xlarge
AMD(16vcpu+32GB)
ecs.c7a.8xlarge
AMD(32vcpu+64GB)
ecs.c7a.16xlarge
AMD(64vcpu+128GB)
ecs.g7a.large
AMD(2vcpu+8GB)
ecs.g7a.xlarge
AMD(4vcpu+16GB)
ecs.g7a.2xlarge
AMD(8vcpu+32GB)
ecs.g7a.4xlarge
AMD(16vcpu+64GB)
ecs.g7a.8xlarge
AMD(32vcpu+128GB)
ecs.g7a.16xlarge
AMD(64vcpu+256GB)