全部產品
Search
文件中心

Function Compute:建立GPU函數

更新時間:Nov 30, 2024

如果您需要使用流行AI專案,如Stable Diffusion WebUI、ComfyUI、RAG、TensorRT等底層需要使用GPU執行個體來加速計算的應用,推薦以鏡像方式部署函數應用。將容器鏡像作為函數的交付物,提升開發和交付效率。

建立函數

  1. 登入Function Compute控制台,在左側導覽列,單擊函數

  2. 在頂部功能表列,選擇地區,然後在函數頁面,單擊建立函數

  3. 建立函數頁面,選擇GPU 函數,設定以下配置項,然後單擊建立

    • 基本設定:設定函數名稱

    • 函數代碼:配置函數的運行環境和代碼相關資訊。

      配置項

      說明

      樣本

      運行環境

      • 使用樣本鏡像:選擇Function Compute提供的樣本鏡像,快速體驗部署鏡像函數。您需要從配置項容器鏡像下方鏡像列表中選擇目標鏡像。

      • 使用ACR中的鏡像:單擊配置項容器鏡像下方的選擇 ACR 中的鏡像,在彈出的選擇容器鏡像面板,選擇已建立的容器鏡像執行個體ACR 鏡像倉庫,然後在下方選擇鏡像地區找到目標鏡像並在其右側操作列單擊選擇

      使用樣本鏡像

      容器鏡像

      選擇目標鏡像。

      SpringBoot Web 應用程式樣本鏡像

      啟動命令

      程式的啟動命令。如果不配置啟動命令,則預設使用鏡像中的Entrypoint/CMD。

      監聽連接埠

      您的代碼中的HTTP Server所監聽的連接埠。

      9000

    • 進階配置:配置函數的執行個體相關資訊和函數執行逾時時間等。

      配置項

      說明

      樣本

      GPU 卡型

      選擇GPU卡型,關於GPU卡型介紹,請參見規格介紹

      Tesla系列

      規格方案

      根據您的業務情況,選擇或手動輸入合理的GPU 顯存規格vCPU規格記憶體規格組合。關於各資源使用的計費詳情,請參見計費概述

      GPU執行個體規格與執行個體並發度的關係

      • Tesla系列整卡顯存為16GB,以設定1 GB顯存為例,則單卡同時承載16個GPU容器,由於各地區的GPU卡數配額預設最大為30,地區層級最多可同時承載480個GPU容器。

        • 當GPU函數執行個體並發度為1時,該函數在地區層級的推理並發度為480。

        • 當GPU函數執行個體並發度為5時,該函數在地區層級的推理並發度為2400。

      • Ada系列整卡顯存為48GB,僅支援整卡顯存,則單卡同時承載1個GPU容器,由於各地區的GPU卡數配額預設最大為30,地區層級最多可同時承載30個GPU容器。

        • 當GPU函數執行個體並發度為1時,該函數在地區層級的推理並發度為30。

        • 當GPU函數執行個體並發度為5時,該函數在地區層級的推理並發度為150。

      GPU顯存規格=4 GB

      vCPU規格=2 vCPU

      記憶體規格=4 GB

      臨時硬碟大小

      根據您的業務情況,選擇臨時隱藏檔的硬碟大小。Function Compute為您提供512 MB以內的硬碟免費使用額度,超過512 MB後開始計費。

      說明

      臨時硬碟中所有目錄可寫,共用臨時硬碟的空間。

      臨時硬碟大小與底層執行函數的執行個體生命週期一致,執行個體被系統回收後,硬碟上的資料也會消失。如您需要對檔案進行持久化儲存,可以選擇掛載NAS或OSS。具體操作,請參見配置NAS檔案系統配置OSSObject Storage Service

      512 MB

      執行逾時時間

      設定逾時時間。執行逾時時間預設為60秒,最長為86400秒。

      60

      單一實例並發度

      Function Compute支援一個執行個體同時並發執行多個請求,這個值用來配置單個函數執行個體可以同時處理多少個請求。具體操作,請參見配置單一實例並發度

      20

      時區

      選擇函數的時區。在此處設定函數的時區後,將自動為函數添加一條環境變數TZ,其值為您設定的目標時區。

      UTC

      函數角色

      Function Compute平台會使用這個RAM角色來產生訪問您的阿里雲資源的臨時密鑰,並傳遞給您的代碼。更多資訊,請參見授予Function Compute訪問其他雲端服務的許可權

      mytestrole

      允許訪問 VPC

      是否允許函數訪問VPC內資源。更多資訊,請參見配置網路

      專用網路

      允許訪問 VPC選擇時必填。建立新的VPC或在下拉式清單中選擇要訪問的VPC ID。

      fc.auto.create.vpc.1632317****

      交換器

      允許訪問 VPC選擇時必填。建立新的交換器或在下拉式清單中選擇交換器ID。

      fc.auto.create.vswitch.vpc-bp1p8248****

      安全性群組

      允許訪問 VPC選擇時必填。建立新的安全性群組或在下拉式清單中選擇安全性群組。

      fc.auto.create.SecurityGroup.vsw-bp15ftbbbbd****

      允許函數預設網卡訪問公網

      是否允許函數通過預設網卡訪問公網。關閉後,當前服務中的函數將無法通過Function Compute的預設網卡訪問公網。

      重要

      使用固定公網IP地址功能時,您必須關閉允許函數預設網卡訪問公網,否則配置的固定公網IP地址不生效。更多資訊,請參見配置固定公網IP地址

      日誌功能

      是否啟用阿里雲Log Service。取值說明如下:

      • 啟用:函數的執行日誌被持久化儲存到Log Service,方便您進行代碼調試、故障分析和資料分析等。

      • 禁用:函數的執行日誌將無法通過Log Service儲存和查詢。

      啟用

    • 環境變數:設定函數運行環境中的環境變數。更多資訊,請參見配置環境變數

編輯函數

函數建立完成後,如果需要變更鏡像,您可以在函數詳情頁的配置頁簽,編輯運行時,詳見下圖。

image

更多修改,例如修改環境變數、日誌儲存等設定,請參見配置函數

刪除函數

登入Function Compute控制台,單擊函數,選擇地區,在目標函數的操作列,選擇更多 > 刪除,然後在彈出的對話方塊,確認要刪除的函數已無任何觸發器、預留執行個體等綁定資源後,再次確認刪除。

image

相關文檔

  • 針對不同使用情境,Function Compute提供事件函數、Web函數、任務函數和GPU函數四種函數類型,關於如何針對使用情境選擇函數類型,請參見函數選型

  • 除控制台外,Function Compute還提供API的方式來管理函數,具體請查看函數

  • 函數執行逾時,您可以嘗試的操作見函數執行逾時,報錯Function time out after怎麼辦?