Function Compute：即時推理情境

前提條件

• 在GPU執行個體所在地區，完成以下操作：

  • 建立Container Registry的企業版執行個體或個人版執行個體，推薦您建立企業版執行個體。具體操作步驟，請參見建立企業版執行個體。

  • 建立命名空間鏡像倉庫。具體操作步驟，請參見步驟二：建立命名空間和步驟三：建立鏡像倉庫。

• 快速入門

• 配置Serverless Devs

1.部署函數

1. 執行以下命令，複製工程。

   git clone https://github.com/devsapp/start-fc-gpu.git

2. 執行以下命令，進入專案目錄。

   cd /root/start-fc-gpu/fc-http-gpu-inference-paddlehub-nlp-porn-detection-lstm/src/

   專案結構如下所示。

   .
   ├── hook
   │   └── index.js
   └── src
       ├── code
       │   ├── Dockerfile
       │   ├── app.py
       │   ├── hub_home
       │   │   ├── conf
       │   │   ├── modules
       │   │   └── tmp
       │   └── test
       │       └── client.py
       └── s.yaml

3. 執行以下命令，通過Docker構建鏡像，並向您的鏡像倉庫進行推送。

   export IMAGE_NAME="registry.cn-shanghai.aliyuncs.com/fc-gpu-demo/paddle-porn-detection:v1"
   # sudo docker build -f ./code/Dockerfile -t $IMAGE_NAME .
   # sudo docker push $IMAGE_NAME

   重要

   由於PaddlePaddle架構自身體積較大，首次構建鏡像耗時較長，約1個小時，因此，此處為您提供一個VPC地址的公用鏡像供您直接使用。使用公用鏡像時，無需執行上述docker build和docker push命令。

4. 編輯s.yaml檔案。

   edition: 3.0.0
   name: container-demo
   access: default
   vars:
     region: cn-shanghai
   resources:
     gpu-best-practive:
       component: fc3
       props:
         region: ${vars.region}
         description: This is the demo function deployment
         handler: not-used
         timeout: 1200
         memorySize: 8192
         cpu: 2
         gpuMemorySize: 8192
         diskSize: 512
         instanceConcurrency: 1
         runtime: custom-container
         environmentVariables:
           FCGPU_RUNTIME_SHMSIZE: '8589934592'
         customContainerConfig:
           image: >-
             registry.cn-shanghai.aliyuncs.com/serverless_devs/gpu-console-supervising:paddle-porn-detection
           port: 9000
         internetAccess: true
         logConfig:
           enableRequestMetrics: true
           enableInstanceMetrics: true
           logBeginRule: DefaultRegex
           project: z****
           logstore: log****
         functionName: gpu-porn-detection
         gpuConfig:
           gpuMemorySize: 8192
           gpuType: fc.gpu.tesla.1
         triggers:
           - triggerName: httpTrigger
             triggerType: http
             triggerConfig:
               authType: anonymous
               methods:
                 - GET
                 - POST

5. 執行以下命令，部署函數。

   sudo s deploy --skip-push true -t s.yaml

   執行成功後，在執行輸出中返回一個URL地址，格式如https://gpu-poretection-****.cn-shanghai.fcapp.run，複製此地址用於後續測試函數。

2.測試函數並查看監控結果

1. 執行Curl命令調用函數，格式如下，其中網域名稱為上一步擷取的URL。

   curl https://gpu-poretection-gpu-****.cn-shanghai.fcapp.run/invoke -H "Content-Type: text/plain" --data "Nice to meet you"

   返回以下結果，表示測試通過。

   [{"text": "Nice to meet you", "porn_detection_label": 0, "porn_detection_key": "not_porn", "porn_probs": 0.0, "not_porn_probs": 1.0}]%

2. 登入Function Compute控制台，左側導覽列選擇函數，選擇地區，找到目標函數，然後在函數詳情頁，選擇監控 > 執行個體指標，查看GPU相關指標的變化。

   

3.配置彈性預留策略

1. 在s.yaml檔案所在目錄下，建立彈性配置的模板provision.json。

   樣本如下。該模板使用了執行個體並發度作為追蹤指標，最小執行個體數為2，最大執行個體數為30。

   {
     "targetTrackingPolicies": [
       {
         "name": "scaling-policy-demo",
         "startTime": "2024-07-01T16:00:00.000Z",
         "endTime": "2024-07-30T16:00:00.000Z",
         "metricType": "ProvisionedConcurrencyUtilization",
         "metricTarget": 0.3,
         "minCapacity": 2,
         "maxCapacity": 30
       }
     ]
   }

2. 執行以下命令，進行彈性策略的部署。

   sudo s provision put --target 1 --targetTrackingPolicies ./provision.json --qualifier LATEST -t s.yaml -a {access}

3. 執行sudo s provision list進行驗證，可以看到如下輸出。其中target和current的數值相等，表示預留執行個體正確拉起，彈性規則部署正確。

   [2023-05-10 14:49:03] [INFO] [FC] - Getting list provision: gpu-best-practive-service
   gpu-best-practive:
     -
       serviceName:            gpu-best-practive-service
       qualifier:              LATEST
       functionName:           gpu-porn-detection
       resource:               143199913651****#gpu-best-practive-service#LATEST#gpu-porn-detection
       target:                 1
       current:                1
       scheduledActions:       null
       targetTrackingPolicies:
         -
           name:         scaling-policy-demo
           startTime:    2024-07-01T16:00:00.000Z
           endTime:      2024-07-30T16:00:00.000Z
           metricType:   ProvisionedConcurrencyUtilization
           metricTarget: 0.3
           minCapacity:  2
           maxCapacity:  30
       currentError:
       alwaysAllocateCPU:      true

   在預留執行個體拉起成功後，您的模型已成功部署並準備好提供服務。

4. 釋放函數預留執行個體。

   1. 執行以下命令關閉彈性規則，將預留執行個體配置為0。

      sudo s provision put --target 0 --qualifier LATEST -t s.yaml -a {access}

   2. 執行以下命令確認當前函數的Auto Scaling策略已被關閉。

      s provision list -a {access}

      返回以下執行結果，表示Auto Scaling策略已成功關閉。

      [2023-05-10 14:54:46] [INFO] [FC] - Getting list provision: gpu-best-practive-service
      End of method: provision