Elastic GPU Service：GPU計算型執行個體規格類型系列（gn/ebm/scc系列）

背景資訊

在閱讀各個執行個體規格類型系列的特點及詳細指標之前，您需要提前學習以下資訊：

• 瞭解執行個體規格命名及分類：協助您更好地理解執行個體規格類型系列的命名及分類資訊，瞭解各規格類型系列之間差異，詳參見執行個體規格分類與命名。

• 瞭解執行個體規格指標：提前瞭解執行個體規格的各項指標說明，請參見執行個體規格指標說明。

• 根據業務情境選擇執行個體規格類型系列：想擷取更多關於如何在實際業務情境中選擇合適的規格，請參見執行個體規格選型指導。

在確定您要選擇的執行個體規格之後，您可能需要進一步瞭解以下資訊：

• 查看執行個體可購買地區：各個地區下可供售賣的執行個體規格可能存在差異，執行個體的可購情況，您可以前往ECS執行個體可購買地區查看。

• 預估執行個體費用：想瞭解執行個體在不同付費方式下大概的花費，可使用阿里雲的ECS價格計算機查看。

• 直接購買執行個體：可直接前往ECS購買頁下單。

您可能還會關註：

• 查看已停售的規格類型系列：如果在本頁面沒有找到您想要的執行個體規格類型系列，可前往已停售的規格類型系列群，詳情請參見已停售的執行個體規格。

• 執行個體規格的變更配置情況：想擷取某個執行個體規格是否支援變更配置到其他執行個體規格，由於可變更配置的執行個體規格之間有一定的限制，請參見規格變更限制與自檢。

GPU計算型執行個體規格類型系列gn8v/gn8v-tee

該執行個體目前僅支援海外等部分地區，如有需求，請聯絡阿里雲銷售人員。

• 規格類型系列介紹：

  • gn8v：阿里雲針對AI模型訓練和超大參數量模型推理任務推出的第8代加速運算規格類型系列（GPU計算型執行個體規格類型系列），針對不同應用需求，為您提供1卡、2卡、4卡和8卡多種機型。

  • gn8v-tee：為了滿足您使用大模型進行模型訓練和推理的安全性要求，阿里雲基於gn8v推出一款具有機密計算特性的第8代執行個體規格類型系列。該執行個體在GPU計算過程中對資料進行加密，確保使用者資料的安全性。

• 適用情境：

  • 對於70 B以上的LLM模型，進行多卡並行推理計算時性價比較高。

  • 單個GPU提供39.5 TFLOPS FP32算力，在傳統AI模型訓練和自動駕駛訓練業務中效能突出。

  • 8卡之間支援NVLINK互聯，適用於中小模型訓練情境。

• 產品特色及定位：

  • 高速&大容量顯存：每個GPU配備了96 GB容量的HBM3顯存，且顯存頻寬可以達到4 TB/s，大幅加快了模型訓練和推理速度。

  • 高卡間頻寬：多個GPU卡之間通過900 GB/s NVLINK互聯，多卡訓練和推理的效率遠超過曆代GPU產品。

  • 大模型量化技術：支援FP8算力，對大規模參數訓練和推理過程的算力進行最佳化，大幅提升訓練和推理的計算速度，降低顯存佔用。

  • （僅限gn8v-tee系列產品）高安全性：支援CPU機密計算（Intel TDX）和GPU機密計算（NVIDIA CC）功能，閉環全鏈路模型推理的機密計算能力。對於模型推理和訓練的安全性，開啟機密計算能力保障使用者推理資料和企業模型的安全。

• 計算：

  • 採用最新的CIPU 1.0雲處理器。

    • 具有解耦計算和儲存能力，可以靈活選擇所需儲存資源。

    • 提供裸金屬能力，相對於傳統虛擬化執行個體，可以支援GPU執行個體之間的P2P通訊。

  • 採用Intel第4代Xeon可擴充處理器，全核睿頻可達3.1 GHz，基頻可達2.8 GHz。

• 儲存：

  • I/O最佳化執行個體。

  • 支援NVMe協議。詳情參見NVMe協議概述。

  • 支援的雲端硬碟類型：彈性臨時盤、ESSD雲端硬碟、ESSD AutoPL雲端硬碟和ESSD同城冗餘雲端硬碟。更多雲端硬碟資訊，請參見Block Storage概述。

• 網路：

  • 支援IPv4、IPv6。關於IPv6通訊，請參見IPv6通訊。

  • 支援巨型幀（Jumbo frames）。更多資訊，請參見巨型幀（Jumbo Frames）。

  • 超高網路效能，最大3000萬PPS網路收發包能力（8卡執行個體）。

  • 支援ERI（Elastic RDMA Interface）。

  • 說明

    關於ERI的使用說明，請參見在企業級執行個體上啟用eRDMA。

• 安全：支援可信計算（vTPM）特性（僅gn8v支援，gn8v-tee不支援）。更多詳情，請參見可信計算能力概述。

gn8v包括的執行個體規格及指標資料如下表所示：

gn8v-tee包括的執行個體規格及指標資料如下表所示：

GPU計算型執行個體規格類型系列gn8is

該執行個體目前僅支援海外等部分地區，如有需求，請聯絡阿里雲銷售人員。

• 規格類型系列介紹：gn8is是阿里雲針對近期AI產生業務的發展推出的第8代加速運算規格類型系列（GPU計算型執行個體規格類型系列），針對不同應用需求，採用最新NVIDIA L20 GPU，為您提供1卡、2卡、4卡和8卡機型，以及不同CPU和GPU配比的執行個體規格。

• 產品特色及定位：

  • 圖形處理：該產品採用Intel第4代Xeon Scalable高主頻處理器，在3D建模情境中，為您提供足夠的CPU算力支撐，使得圖形的渲染和設計更加順暢。

  • 推理任務：採用全新NVIDIA L20，單卡配置48 GB顯存來加速推理任務，支援FP8浮點數格式，搭配ACK容器可靈活支援各類AIGC模型的推理，尤其適用於70 B以下LLM模型的推理任務。

• 適用情境：

  • 結合雲市場的GRID鏡像使用GRID驅動，啟動OpenGL和Direct3D圖形能力，提供工作站級圖形處理能力，適用於動漫、影視特效製作和渲染。

  • 結合ACK容器化管理能力，更高效、低成本地支撐AIGC圖形產生和LLM大模型推理。

  • 其他通用AI識別情境、Image Recognition、語音辨識等。

• 計算：

  • 採用全新NVIDIA L20企業級GPU。

    • 支援TensorRT等常用加速功能，支援FP8浮點數格式，提升模型推理效能。

    • 顯存容量提升至48 GB，多卡情況下，支援70 B及更大模型的單機推理。

    • 支援圖形處理能力，例如通過雲助手方式或選擇雲市場鏡像方式安裝GRID驅動後，圖形處理效能相對7代平台提升1倍。

  • NVIDIA L20主要參數：

    GPU架構	GPU顯存	計算效能	視頻編解碼能力	卡間互聯
    NVIDIA Ada Lovelace	容量：48 GB 頻寬：864GB/s	FP64: N/A FP32: 59.3 TFLOPS FP16/BF16: 119 TFLOPS FP8/INT8: 237 TFLOPS	3 * Video Encoder（+AV1） 3 * Video Decoder 4 * JPEG Decoder	PCIe介面：PCIe Gen4 x16 頻寬：64GB/s

  • 處理器：採用最新的Intel ^® Xeon ^®高主頻處理器，全核睿頻可達3.9 GHz，以應對更複雜的3D建模需求。

• 儲存：

  • I/O最佳化執行個體。

  • 支援NVMe協議。詳情參見NVMe協議概述。

  • 支援的雲端硬碟類型：彈性臨時盤、ESSD雲端硬碟、ESSD AutoPL雲端硬碟和ESSD同城冗餘雲端硬碟。更多雲端硬碟資訊，請參見Block Storage概述。

• 網路：

  • 支援IPv4、IPv6。關於IPv6通訊，參見IPv6通訊。

  • 支援ERI（Elastic RDMA Interface）。

    說明

    關於ERI的使用說明，請參見在企業級執行個體上啟用eRDMA。

• 安全：支援可信計算（vTPM）特性。更多詳情，請參見可信計算能力概述。

GPU計算型執行個體規格類型系列gn7e

GPU計算型執行個體規格類型系列gn7i

GPU計算型執行個體規格類型系列gn7s

如需使用gn7s，請提交工單申請。

GPU計算型執行個體規格類型系列gn7

GPU計算型執行個體規格類型系列gn6i

GPU計算型執行個體規格類型系列gn6e

GPU計算型執行個體規格類型系列gn6v

GPU計算型ECS Bare Metal Instance執行個體規格類型系列ebmgn9g

• 規格類型系列介紹：ebmgn9g是阿里雲推出的第9代全功能高性價比GPU裸金屬執行個體。採用最新一代CIPU2.0提供雲端服務能力，搭配高主頻CPU，大容量記憶體和全新Blackwell架構專業顯卡，為自動駕駛/具身智能訓練，大模型推理，影視動漫渲染，元宇宙/雲遊戲服務等各類GPU加速情境提供高性價比的GPU雲端服務能力。

• 適用情境及產品特色：

  • 自動駕駛/具身智能：
    提供256vCPU，CPU全核最高工作於4.2GHz以上，搭配2.3T大容量記憶體，支撐自動駕駛/具身智能訓練中的資料處理業務需求。
    

  • 搜尋推薦：
    搭配的Blackwell GPU提供137T高效能TF32算力，平均每張GPU搭配32vCPU和153GB/s記憶體頻寬，為搜尋，廣告業務提供最佳的配置組合。
    

  • 大模型推理：
    全新一代GPU提供超越8代的全新算力，顯存頻寬提升至1344GB/s，新支援FP4算力全面提升推理效能和性價比。8張GPU基於PCIe Gen5互聯，頻寬達到128GB/s，多卡並行推理效率大大提升。
    

  • 雲遊戲/渲染/元宇宙：
    CPU最高可達5GHz高主頻，是3D建模的頂級選擇，GPU原生支援圖形能力，提供通過專業設計認證的工作站級圖形驅動，支援OpenGL全功能加速，是高端影視動漫開發，CAD設計的最優選擇。
    

• 採用最新的CIPU 2.0雲處理器：

  第2代CIPU提供更高的雲處理算力，提供更強的eRDMA，VPC，EBS組件算力。裸金屬執行個體可直接存取實體資源，或者需要License綁定硬體等要求的工作負載。支援容器（包括但不限於Docker、Clear Container、Pouch等）。

• 計算：

  • 採用全新Blackwell架構專業顯卡：

    • 支援OpenGL 專業級圖形處理功能

    • 支援RTX、TensorRT等常用加速功能，全新升級支援FP4和PCIe Gen5互聯。

    • 採用PCIe Switch互聯，相比直連CPU方案，其NCCL效能提升36%，多卡分區大模型推理時，效能最大提升9%。

  • GPU主要參數：

    GPU架構	GPU顯存	計算效能	視頻編解碼能力	卡間互聯	加速APIs
    Blackwell	容量：48 GB 頻寬：1344GB/s	TF32: 126 TFLOPS FP32: 52 TFLOPS FP16/BF16: 266 TFLOPS FP8/INT8: 533 TFLOPS FP4: 970 TFLOPS RT core: 196 TFLOPS	3 * Video Encoder 3 * Video Decoder	PCIe Gen5 x16: 128GB/s 支援P2P	支援DX12、 OpenGL4.6、Vulkan1.3、CUDA12.8、Open CL3.0、DirectCompute

  • 處理器：3.3GHz-5GHz主頻的 AMD Turin-C 處理器（SPR），全核最高可達4.2GHz。

• 儲存：

  • I/O最佳化執行個體。

  • 支援NVMe協議。詳情參見NVMe協議概述。

  • 支援的雲端硬碟類型：彈性臨時盤、ESSD雲端硬碟、ESSD AutoPL雲端硬碟和ESSD同城冗餘雲端硬碟。更多雲端硬碟資訊，請參見Block Storage概述。

• 網路：

  • 支援IPv4、IPv6。關於IPv6通訊，參見IPv6通訊。

  • 超高網路效能，3000萬PPS網路收發包能力。

  • 支援ERI（Elastic RDMA Interface），可以在VPC網路下實現RDMA直通加速互聯，將頻寬提升至360 Gbit/s，可用於自動駕駛，具身智能，CV和傳統模型的訓練業務。

    說明

    關於ERI的使用說明，請參見在企業級執行個體上啟用eRDMA。

ebmgn9g包括的執行個體規格及指標資料如下表所示。

GPU計算型ECS Bare Metal Instance執行個體規格類型系列ebmgn9ge

• 規格類型系列介紹：ebmgn9ge是阿里雲推出的第9代全功能高性價比GPU裸金屬執行個體。採用最新一代CIPU2.0提供雲端服務能力，搭配高主頻CPU，大容量記憶體和全新Blackwell架構專業顯卡，為自動駕駛/具身智能訓練，大模型推理，影視動漫渲染，元宇宙/雲遊戲服務等各類GPU加速情境提供高性價比的GPU雲端服務能力。

• 適用情境及產品特色：

  • 自動駕駛/具身智能：
    提供256vCPU，CPU全核最高工作於4.2GHz以上，搭配2.3T大容量記憶體，支撐自動駕駛/具身智能訓練中的資料處理業務需求。
    

  • 搜尋推薦：
    搭配的Blackwell GPU提供137T高效能TF32算力，平均每張GPU搭配32vCPU和153GB/s記憶體頻寬，為搜尋，廣告業務提供最佳的配置組合。
    

  • 大模型推理：

    ebmgn9ge專為大語言模型提供單卡72G大顯存算力，同時顯存頻寬達到1344GB/s，為LLM情境提供高效能推理算力，配合全新FP4計算架構，和128GB/s的第5代PCIe頻寬，可以支援8卡並行671B以上的大模型推理。

  • 雲遊戲/渲染/元宇宙：
    CPU最高可達5GHz高主頻，是3D建模的頂級選擇，GPU原生支援圖形能力，提供通過專業設計認證的工作站級圖形驅動，支援OpenGL全功能加速，是高端影視動漫開發，CAD設計的最優選擇。
    

• 採用最新的CIPU 2.0雲處理器：

  第2代CIPU提供更高的雲處理算力，提供更強的eRDMA、VPC、EBS組件算力。裸金屬執行個體可直接存取實體資源，或者需要License綁定硬體等要求的工作負載。支援容器（包括但不限於Docker、Clear Container、Pouch等）。

• 計算：

  • 採用全新Blackwell架構專業顯卡：

    • 支援OpenGL 專業級圖形處理功能

    • 支援RTX、TensorRT等常用加速功能，全新升級支援FP4和PCIe Gen5互聯。

    • 採用PCIe Switch互聯，相比直連CPU方案，其NCCL效能提升36%，多卡分區大模型推理時，效能最大提升9%。

  • GPU主要參數：

    GPU架構	GPU顯存	計算效能	視頻編解碼能力	卡間互聯	加速APIs
    Blackwell	容量：72 GB 頻寬：1344GB/s	TF32: 126 TFLOPS FP32: 52 TFLOPS FP16/BF16: 266 TFLOPS FP8/INT8: 533 TFLOPS FP4: 970 TFLOPS RT core: 196 TFLOPS	3 * Video Encoder 3 * Video Decoder	PCIe Gen5 x16: 128GB/s 支援P2P	支援DX12、 OpenGL4.6、Vulkan1.3、CUDA12.8、Open CL3.0、DirectCompute

  • 處理器：3.3GHz-5GHz主頻的 AMD Turin-C 處理器（SPR），全核最高可達4.2GHz。

• 儲存：

  • I/O最佳化執行個體。

  • 支援NVMe協議。詳情參見NVMe協議概述。

  • 支援的雲端硬碟類型：彈性臨時盤、ESSD雲端硬碟、ESSD AutoPL雲端硬碟和ESSD同城冗餘雲端硬碟。更多雲端硬碟資訊，請參見Block Storage概述。

• 網路：

  • 支援IPv4、IPv6。關於IPv6通訊，參見IPv6通訊。

  • 超高網路效能，3000萬PPS網路收發包能力。

  • 支援ERI（Elastic RDMA Interface），可以在VPC網路下實現RDMA直通加速互聯，將頻寬提升至360 Gbit/s，可用於自動駕駛，具身智能，CV和傳統模型的訓練業務。

    說明

    關於ERI的使用說明，請參見在企業級執行個體上啟用eRDMA。

ebmgn9ge包括的執行個體規格及指標資料如下表所示。

GPU計算型ECS Bare Metal Instance執行個體規格類型系列ebmgn9gc

• 規格類型系列介紹：ebmgn9gc是阿里雲推出的第9代全功能高性價比GPU裸金屬執行個體。採用最新一代CIPU2.0提供雲端服務能力，搭配高主頻CPU，大容量記憶體和全新Blackwell架構專業顯卡，為自動駕駛/具身智能訓練，大模型推理，影視動漫渲染，元宇宙/雲遊戲服務等各類GPU加速情境提供高性價比的GPU雲端服務能力。

• 適用情境及產品特色：

  • 自動駕駛/具身智能：
    提供256vCPU，CPU全核最高工作於4.2GHz以上，搭配2.3T大容量記憶體，支撐自動駕駛/具身智能訓練中的資料處理業務需求。
    

  • 搜尋推薦：
    搭配的Blackwell GPU提供137T高效能TF32算力，平均每張GPU搭配32vCPU和153GB/s記憶體頻寬，為搜尋，廣告業務提供最佳的配置組合。
    

  • 大模型推理：

    ebmgn9gc專為大語言模型提供單卡72G大顯存算力，同時顯存頻寬達到1344GB/s，為LLM情境提供高效能推理算力，配合全新FP4計算架構，和128GB/s的第5代PCIe頻寬，可以支援8卡並行671B以上的大模型推理。

  • 雲遊戲/渲染/元宇宙：
    CPU最高可達5GHz高主頻，是3D建模的頂級選擇，GPU原生支援圖形能力，提供通過專業設計認證的工作站級圖形驅動，支援OpenGL全功能加速，是高端影視動漫開發，CAD設計的最優選擇。
    

• 採用最新的CIPU 2.0雲處理器：

  第2代CIPU提供更高的雲處理算力，提供更強的eRDMA、VPC、EBS組件算力。裸金屬執行個體可直接存取實體資源，或者需要License綁定硬體等要求的工作負載。支援容器（包括但不限於Docker、Clear Container、Pouch等）。

• 計算：

  • 採用全新Blackwell架構專業顯卡：

    • 支援OpenGL 專業級圖形處理功能

    • 支援RTX、TensorRT等常用加速功能，全新升級支援FP4和PCIe Gen5互聯。

    • 採用PCIe Switch互聯，相比直連CPU方案，其NCCL效能提升36%，多卡分區大模型推理時，效能最大提升9%。

  • GPU主要參數：

    GPU架構	GPU顯存	計算效能	視頻編解碼能力	卡間互聯	加速APIs
    Blackwell	容量：72 GB 頻寬：1344GB/s	TF32: 126 TFLOPS FP32: 52 TFLOPS FP16/BF16: 266 TFLOPS FP8/INT8: 533 TFLOPS FP4: 970 TFLOPS RT core: 196 TFLOPS	3 * Video Encoder 3 * Video Decoder	PCIe Gen5 x16: 128GB/s 支援P2P	支援DX12、 OpenGL4.6、Vulkan1.3、CUDA12.8、Open CL3.0、DirectCompute

  • 處理器：3.3GHz-5GHz主頻的 AMD Turin-C 處理器（SPR），全核最高可達4.2GHz。

• 儲存：

  • I/O最佳化執行個體。

  • 支援NVMe協議。詳情參見NVMe協議概述。

  • 支援的雲端硬碟類型：彈性臨時盤、ESSD雲端硬碟、ESSD AutoPL雲端硬碟和ESSD同城冗餘雲端硬碟。更多雲端硬碟資訊，請參見Block Storage概述。

• 網路：

  • 支援IPv4、IPv6。關於IPv6通訊，參見IPv6通訊。

  • 超高網路效能，3000萬PPS網路收發包能力。

  • 支援ERI（Elastic RDMA Interface），可以在VPC網路下實現RDMA直通加速互聯，將頻寬提升至360 Gbit/s，可用於自動駕駛，具身智能，CV和傳統模型的訓練業務。

    說明

    關於ERI的使用說明，請參見在企業級執行個體上啟用eRDMA。

ebmgn9gc包括的執行個體規格及指標資料如下表所示。

GPU計算型ECS Bare Metal Instance執行個體規格類型系列ebmgn9gc

• 規格類型系列介紹：ebmgn9gc是阿里雲推出的第9代全功能高性價比GPU裸金屬執行個體。採用最新一代CIPU2.0提供雲端服務能力，搭配高主頻CPU，大容量記憶體和全新Blackwell架構專業顯卡，為自動駕駛/具身智能訓練，大模型推理，影視動漫渲染，元宇宙/雲遊戲服務等各類GPU加速情境提供高性價比的GPU雲端服務能力。

• 適用情境及產品特色：

  • 自動駕駛/具身智能：
    提供256vCPU，CPU全核最高工作於4.2GHz以上，搭配2.3T大容量記憶體，支撐自動駕駛/具身智能訓練中的資料處理業務需求。
    

  • 搜尋推薦：
    搭配的Blackwell GPU提供137T高效能TF32算力，平均每張GPU搭配32vCPU和153GB/s記憶體頻寬，為搜尋，廣告業務提供最佳的配置組合。
    

  • 大模型推理：

    ebmgn9gc專為大語言模型提供單卡72G大顯存算力，同時顯存頻寬達到1344GB/s，為LLM情境提供高效能推理算力，配合全新FP4計算架構，和128GB/s的第5代PCIe頻寬，可以支援8卡並行671B以上的大模型推理。

  • 雲遊戲/渲染/元宇宙：
    CPU最高可達5GHz高主頻，是3D建模的頂級選擇，GPU原生支援圖形能力，提供通過專業設計認證的工作站級圖形驅動，支援OpenGL全功能加速，是高端影視動漫開發，CAD設計的最優選擇。
    

• 採用最新的CIPU 2.0雲處理器：

  第2代CIPU提供更高的雲處理算力，提供更強的eRDMA、VPC、EBS組件算力。裸金屬執行個體可直接存取實體資源，或者需要License綁定硬體等要求的工作負載。支援容器（包括但不限於Docker、Clear Container、Pouch等）。

• 計算：

  • 採用全新Blackwell架構專業顯卡：

    • 支援OpenGL 專業級圖形處理功能

    • 支援RTX、TensorRT等常用加速功能，全新升級支援FP4和PCIe Gen5互聯。

    • 採用PCIe Switch互聯，相比直連CPU方案，其NCCL效能提升36%，多卡分區大模型推理時，效能最大提升9%。

  • GPU主要參數：

    GPU架構	GPU顯存	計算效能	視頻編解碼能力	卡間互聯	加速APIs
    Blackwell	容量：72 GB 頻寬：1344GB/s	TF32: 126 TFLOPS FP32: 52 TFLOPS FP16/BF16: 266 TFLOPS FP8/INT8: 533 TFLOPS FP4: 970 TFLOPS RT core: 196 TFLOPS	3 * Video Encoder 3 * Video Decoder	PCIe Gen5 x16: 128GB/s 支援P2P	支援DX12、 OpenGL4.6、Vulkan1.3、CUDA12.8、Open CL3.0、DirectCompute

  • 處理器：3.3GHz-5GHz主頻的 AMD Turin-C 處理器（SPR），全核最高可達4.2GHz。

• 儲存：

  • I/O最佳化執行個體。

  • 支援NVMe協議。詳情參見NVMe協議概述。

  • 支援的雲端硬碟類型：彈性臨時盤、ESSD雲端硬碟、ESSD AutoPL雲端硬碟和ESSD同城冗餘雲端硬碟。更多雲端硬碟資訊，請參見Block Storage概述。

• 網路：

  • 支援IPv4、IPv6。關於IPv6通訊，參見IPv6通訊。

  • 超高網路效能，3000萬PPS網路收發包能力。

  • 支援ERI（Elastic RDMA Interface），可以在VPC網路下實現RDMA直通加速互聯，將頻寬提升至360 Gbit/s，可用於自動駕駛，具身智能，CV和傳統模型的訓練業務。

    說明

    關於ERI的使用說明，請參見在企業級執行個體上啟用eRDMA。

ebmgn9gc包括的執行個體規格及指標資料如下表所示。

GPU計算型ECS Bare Metal Instance執行個體規格類型系列ebmgn8v

該執行個體目前僅支援海外等部分地區，如有需求，請聯絡阿里雲銷售人員。

• 規格類型系列介紹：ebmgn8v是阿里雲為AI模型訓練和超大參數量模型推出的第8代加速運算規格類型系列（彈性裸金屬執行個體規格類型系列），每個執行個體是1台採用了8個GPU卡裸金屬主機。

• 適用情境：

  • 對於70 B以上的LLM模型，進行多卡並行推理計算時性價比較高。

  • 單個GPU提供39.5 TFLOPS FP32算力，在傳統AI模型訓練和自動駕駛訓練業務中效能突出。

  • 8卡之間支援NVLINK互聯，適用於中小模型訓練情境。

• 產品特色及定位：

  • 高速&大容量顯存：每個GPU配備了96 GB容量的HBM3顯存，顯存頻寬達到4 TB/s，大幅加快了模型訓練和推理速度。

  • 高卡間頻寬：多GPU卡之間通過900 GB/s NVLINK互聯，多卡訓練和推理的效率遠超過曆代GPU產品。

  • 大模型量化技術：支援FP8算力，對大規模參數訓練和推理過程的算力進行最佳化，大幅提升訓練和推理的計算速度，降低顯存佔用。

• 計算：

  • 採用最新的CIPU 1.0雲處理器：

    • 具有解耦計算和儲存能力，可以靈活選擇所需儲存資源。相對於第七代GPU執行個體，該執行個體規格的機器間頻寬提升至160 Gbit/s，可以更快地完成資料轉送和處理。

    • CIPU提供裸金屬能力，相對於傳統虛擬化執行個體，可以支援GPU執行個體之間的P2P通訊。

  • 採用Intel第4代Xeon可擴充處理，提供192個vCPU，全核睿頻可達3.1 GHz。

• 儲存：

  • I/O最佳化執行個體。

  • 支援NVMe協議。詳情參見NVMe協議概述。

  • 支援的雲端硬碟類型：彈性臨時盤、ESSD雲端硬碟、ESSD AutoPL雲端硬碟和ESSD同城冗餘雲端硬碟。更多雲端硬碟資訊，請參見Block Storage概述。

• 網路：

  • 支援IPv4、IPv6。關於IPv6通訊，參見IPv6通訊。

  • 超高網路效能，3000萬PPS網路收發包能力。

  • 支援ERI（Elastic RDMA Interface），可以在VPC網路下實現RDMA直通加速互聯，將頻寬提升至160 Gbit/s，可用於CV和傳統模型的訓練業務。

    說明

    關於ERI的使用說明，請參見在企業級執行個體上啟用eRDMA。

ebmgn8v包括的執行個體規格及指標資料如下表所示。

GPU計算型ECS Bare Metal Instance執行個體規格類型系列ebmgn8ia

該執行個體目前僅支援海外等部分地區，如有需求，請聯絡阿里雲銷售人員。

• 規格類型系列介紹：ebmgn8ia是阿里雲針對搜尋推薦、模擬和其他GPU計算稀疏類（平均每顆GPU需要配備比較多的vCPU資源）業務的發展推出的第8代加速運算規格類型系列（彈性裸金屬執行個體規格類型系列），採用最新NVIDIA L20 GPU，每個執行個體為一台採用了2顆高主頻CPU和4個GPU計算卡的裸金屬主機。

• 產品特色及適用情境：

  • 高主頻：該產品配置了2顆AMD EPYC™ Genoa 9T34處理器，每顆處理有64個物理核，整機提供256個vCPU，主頻高達3.4-3.75GHz。大幅提高CPU單核效能，適用於CAD建模，並提升CAE模擬的前期預先處理速度。

  • 稀疏資源配比：平均GPU配置了64 vCPU和384 GiB記憶體，平均每個GPU的記憶體頻寬達到230 GB/s, 適合高I/O吞吐的GPU計算情境，如廣告、搜尋、推薦以及傳統CAE模擬，部分採用CPU渲染的影視製作等。

• 採用最新的CIPU 1.0雲處理器：

  • 具有解耦計算和儲存能力，可以靈活選擇所需儲存資源。相對於上一代，該執行個體規格的機器間頻寬提升至160 Gbit/s，可以更快地完成資料轉送和處理。

  • CIPU提供裸金屬能力，相對於傳統虛擬化執行個體，可以支援GPU執行個體之間的PCIe P2P通訊。

• 計算：

  • 採用全新NVIDIA L20企業級GPU：

    • 支援vGPU、RTX、TensorRT等常用加速功能。

    • 支援FP8精度，提升計算效率。

  • NVIDIA L20主要參數：

    GPU架構	GPU顯存	計算效能	視頻編解碼能力	卡間互聯
    NVIDIA Ada Lovelace	容量：48 GB 頻寬：864 GB/s	FP64: N/A FP32: 59.3 TFLOPS FP16/BF16: 119 TFLOPS FP8/INT8: 237 TFLOPS	3 * Video Encoder（+AV1） 3 * Video Decoder 4 * JPEG Decoder	PCIe介面：PCIe Gen4 x16 頻寬：64 GB/s

  • 處理器：3.4 GHz~3.75 GHz的AMD EPYC™ Genoa 9T34處理器。

• 儲存：

  • I/O最佳化執行個體。

  • 支援NVMe協議。詳情參見NVMe協議概述。

  • 支援的雲端硬碟類型：彈性臨時盤、ESSD雲端硬碟、ESSD AutoPL雲端硬碟和ESSD同城冗餘雲端硬碟。更多雲端硬碟資訊，請參見Block Storage概述。

• 網路：

  • 支援IPv4、IPv6。關於IPv6通訊，參見IPv6通訊。

  • 超高網路效能，3000萬PPS網路收發包能力。

  • 支援ERI（Elastic RDMA Interface），可以在VPC網路下實現RDMA直通加速互聯，將頻寬提升至160 Gbit/s，可用於CV和傳統模型的訓練業務。

    說明

    關於ERI的使用說明，請參見在企業級執行個體上啟用eRDMA。

GPU計算型ECS Bare Metal Instance執行個體規格類型系列ebmgn8is

該執行個體目前僅支援海外等部分地區，如有需求，請聯絡阿里雲銷售人員。

• 規格類型系列介紹：ebmgn8is是阿里雲針對近期AI產生業務的發展推出的第8代加速運算規格類型系列（彈性裸金屬執行個體規格類型系列），採用最新NVIDIA L20 GPU，每個執行個體為一台採用了8個GPU計算卡的裸金屬主機。

• 產品特色及定位：

  • 圖形處理：該產品採用Intel第4代Xeon Scalable高主頻處理器，在3D建模情境，為您提供足夠的CPU算力支撐，使得圖形的渲染和設計更加順暢。

  • 推理任務：採用全新NVIDIA L20，單卡配置48 GB顯存來加速推理任務，支援FP8浮點數格式，搭配ACK容器可靈活支援各類AIGC模型的推理，尤其適用於70 B以下LLM模型的推理任務。

  • 訓練任務：該執行個體提供高性價比的計算能力，FP32計算效能相比7代推理執行個體提升1倍，特別適用於基於FP32開發的CV類模型和其他各類中小模型的訓練。

• 適用情境：

  • 結合雲市場的GRID鏡像使用GRID圖形驅動，啟動OpenGL和Direct3D圖形能力，提供工作站級圖形處理能力，適用於動漫、影視特效製作和渲染

  • 結合ACK容器化管理能力，更高效、低成本地支撐AIGC圖形產生和LLM大模型推理（最大支援130 B）

  • 其他通用AI識別情境、Image Recognition、語音辨識等

• 採用最新的CIPU 1.0雲處理器：

  • 具有解耦計算和儲存能力，可以靈活選擇所需儲存資源。相對於上一代，該執行個體規格的機器間頻寬提升至160 Gbit/s，可以更快地完成資料轉送和處理。

  • CIPU提供裸金屬能力，相對於傳統虛擬化執行個體，可以支援GPU執行個體之間的PCIE P2P通訊。

• 計算：

  • 採用全新NVIDIA L20企業級GPU：

    • 支援vGPU、RTX、TensorRT等常用加速功能。

    • 採用PCIe Switch互聯，相比直連CPU方案，其NCCL效能提升36％，多卡分區推理大模型時，推理效能最大提升9%。

  • NVIDIA L20主要參數：

    GPU架構	GPU顯存	計算效能	視頻編解碼能力	卡間互聯
    NVIDIA Ada Lovelace	容量：48 GB 頻寬：864 GB/s	FP64: N/A FP32: 59.3 TFLOPS FP16/BF16: 119 TFLOPS FP8/INT8: 237 TFLOPS	3 * Video Encoder（+AV1） 3 * Video Decoder 4 * JPEG Decoder	PCIe介面：PCIe Gen4 x16 頻寬：64 GB/s

  • 處理器：3.4 GHz主頻的Intel ^® Xeon ^®可擴充處理器（SPR），全核睿頻可達3.9 GHz。

• 儲存：

  • I/O最佳化執行個體。

  • 支援NVMe協議。詳情參見NVMe協議概述。

  • 支援的雲端硬碟類型：彈性臨時盤、ESSD雲端硬碟、ESSD AutoPL雲端硬碟和ESSD同城冗餘雲端硬碟。更多雲端硬碟資訊，請參見Block Storage概述。

• 網路：

  • 支援IPv4、IPv6。關於IPv6通訊，參見IPv6通訊。

  • 超高網路效能，3000萬PPS網路收發包能力。

  • 支援ERI（Elastic RDMA Interface），可以在VPC網路下實現RDMA直通加速互聯，將頻寬提升至160 Gbit/s，可用於CV和傳統模型的訓練業務。

    說明

    關於ERI的使用說明，請參見在企業級執行個體上啟用eRDMA。

GPU計算型ECS Bare Metal Instance執行個體規格類型系列ebmgn7e

MIG（Multi-Instance GPU）功能需要您在ebmgn7e執行個體啟動後自行檢查並決定是否開啟或關閉，系統無法保證MIG（Multi-Instance GPU）功能是開啟或關閉狀態。關於MIG（Multi-Instance GPU）的更多資訊，請參見NVIDIA Multi-Instance GPU User Guide。

ebmgn7e執行個體是否支援開啟MIG功能的說明如下所示：

GPU計算型ECS Bare Metal Instance執行個體規格類型系列ebmgn7i

GPU計算型ECS Bare Metal Instance執行個體規格類型系列ebmgn7

MIG（Multi-Instance GPU）功能需要您在ebmgn7執行個體啟動後自己檢查並決定是否開啟或關閉，系統無法保證MIG（Multi-Instance GPU）功能是開啟還是關閉狀態。關於MIG（Multi-Instance GPU）的更多資訊，請參見NVIDIA Multi-Instance GPU User Guide。

ebmgn7執行個體是否支援開啟MIG功能的說明如下所示：

GPU計算型ECS Bare Metal Instance執行個體規格類型系列ebmgn6e

GPU計算型ECS Bare Metal Instance執行個體規格類型系列ebmgn6v

GPU計算型ECS Bare Metal Instance執行個體規格類型系列ebmgn6i

GPU計算型執行個體規格類型系列gn5i

GPU計算型執行個體規格類型系列gn5