GPU計算型執行個體具有高效能、高並行計算能力,適用於大規模並行計算情境,可以為您的業務提供更好的計算效能和效率。本文為您介紹Elastic Compute Service GPU計算型執行個體規格類型系列的特點,並列出了具體的執行個體規格。
主售(推薦類型)
在售(如果售罄,建議使用主售的規格類型系列)
GPU計算型執行個體規格類型系列gn8is
該執行個體目前僅支援海外等部分地區,如有需求,請聯絡阿里雲銷售人員。
gn8is特點如下:
gn8is是阿里雲針對近期AI產生業務的發展推出的第8代加速運算規格類型系列(GPU計算型執行個體規格類型系列),針對不同應用需求,為您提供1卡、2卡、4卡和8卡機型,以及不同CPU和GPU配比的執行個體規格。
產品特色及定位
圖形處理:該產品採用Intel第5代Xeon Scaleable高主頻處理器,在3D建模情境中,為您提供足夠的CPU算力支撐,使得圖形的渲染和設計更加順暢。
推理任務:採用全新48 GB顯存的圖形處理器(GPU)來加速推理任務,支援FP8浮點數格式,搭配ACK容器可靈活支援各類AIGC模型的推理,尤其適用於70 B以下LLM模型的推理任務。
計算:
採用全新GPU計算卡
支援TensorRT等常用加速功能,支援FP8浮點數格式,提升模型推理效能
顯存容量提升至48 GB,多卡情況下,支援70 B及更大模型的單機推理
支援圖形處理能力,例如通過雲助手方式或選擇雲市場鏡像方式安裝GRID驅動後,圖形處理效能相對7代平台提升1倍
處理器:採用最新的Intel ® Xeon ®高主頻處理器,全核睿頻可達3.9 GHz,以應對更複雜的3D建模需求
儲存:
均為I/O最佳化執行個體
支援ESSD雲端硬碟、ESSD AutoPL雲端硬碟、彈性臨時盤EED(Elastic Ephemeral Disk)
網路:
支援IPv4、IPv6
支援ERI(Elastic RDMA Interface)。
說明關於ERI的使用說明,請參見在企業級執行個體上配置eRDMA。
適用情境:
結合雲市場的GRID鏡像使用GRID驅動,啟動OpenGL和Direct3D圖形能力,提供工作站級圖形處理能力,適用於動漫、影視特效製作和渲染
結合ACK容器化管理能力,更高效、低成本地支撐AIGC圖形產生和LLM大模型推理
其他通用AI識別情境、Image Recognition、語音辨識等
gn8is包括的執行個體規格及指標資料如下表所示。
執行個體規格 | vCPU | 記憶體(GiB) | GPU顯存 | 網路基礎頻寬(Gbit/s) | 彈性網卡 | 隊列數量(主) | IP數量(IPv4/IPv6) | 最大支援雲端硬碟數量 | 雲端硬碟基礎IOPS | 雲端硬碟基礎頻寬(Gbit/s) |
ecs.gn8is.2xlarge | 8 | 64 | 48GB * 1 | 8 | 4 | 8 | 15/15 | 17 | 6萬 | 0.75 |
ecs.gn8is.4xlarge | 16 | 128 | 48GB * 1 | 16 | 8 | 16 | 30/30 | 17 | 12萬 | 1.25 |
ecs.gn8is-2x.8xlarge | 32 | 256 | 48GB * 2 | 32 | 8 | 32 | 30/30 | 33 | 25萬 | 2 |
ecs.gn8is-4x.16xlarge | 64 | 512 | 48GB * 4 | 64 | 8 | 64 | 30/30 | 33 | 45萬 | 4 |
ecs.gn8is-8x.32xlarge | 128 | 1024 | 48GB * 8 | 100 | 15 | 64 | 50/50 | 65 | 90萬 | 8 |
您可以前往ECS執行個體可購買地區,查看執行個體在各地區的可購情況。
指標的含義請參見執行個體規格指標說明。
GPU計算型執行個體規格類型系列gn7e
gn7e的特點如下:
您可以根據需要選擇不同數量的卡和不同CPU資源的規格,靈活適應其不同的AI業務需求。
依託第三代神龍架構,VPC和雲端硬碟網路頻寬相比上一代平均提升一倍。
儲存:
I/O最佳化執行個體
僅支援ESSD雲端硬碟和ESSD AutoPL雲端硬碟
網路:
支援IPv6
執行個體網路效能與計算規格對應(規格越高網路效能越強)
適用情境:
中小規模的AI訓練業務
使用CUDA進行加速的HPC業務
對GPU處理能力或顯存容量需求較高的AI推理業務
深度學習,例如映像分類、無人駕駛、語音辨識等人工智慧演算法的訓練應用
高GPU負載的科學計算,例如計算流體動力學、計算金融學、分子動力學、環境分析等
重要在使用高通訊負載的AI訓練業務如Transformer等模型時,務必啟用NVLink進行GPU間的資料通訊,否則可能由於PCIe鏈路大規模資料轉送引起非預期的故障,導致資料受損。如不確定您使用的訓練通訊鏈路拓撲,請提交工單由阿里雲技術專家為您提供支援人員。
gn7e包括的執行個體規格及指標資料如下表所示。
執行個體規格 | vCPU | 記憶體(GiB) | GPU顯存 | 網路基礎頻寬(Gbit/s) | 網路收發包PPS | 多隊列 | 彈性網卡 | 單網卡私人IPv4地址數 |
ecs.gn7e-c16g1.4xlarge | 16 | 125 | 80GB * 1 | 8 | 300萬 | 8 | 8 | 10 |
ecs.gn7e-c16g1.8xlarge | 32 | 250 | 80GB * 2 | 16 | 600萬 | 16 | 8 | 10 |
ecs.gn7e-c16g1.16xlarge | 64 | 500 | 80GB * 4 | 32 | 1200萬 | 32 | 8 | 10 |
ecs.gn7e-c16g1.32xlarge | 128 | 1000 | 80GB * 8 | 64 | 2400萬 | 32 | 16 | 15 |
您可以前往ECS執行個體可購買地區,查看執行個體在各地區的可購情況。
指標的含義請參見執行個體規格類型系列。由於業務情境的不同,網路收發包PPS會存在明顯差異。因此,我們建議您進行業務壓測以瞭解執行個體的效能表現,以便選擇合適的執行個體規格。
在Elastic Compute Service控制台建立gn7e執行個體或重啟gn7e執行個體後,系統預設該執行個體的MIG(Multi-Instance GPU)功能是關閉狀態。關於MIG(Multi-Instance GPU)的更多資訊,請參見NVIDIA Multi-Instance GPU User Guide。
gn7e執行個體是否支援開啟MIG功能的說明如下所示:
執行個體規格 | 是否支援開啟MIG功能 | 說明 |
ecs.gn7e-c16g1.4xlarge | 是 | 單卡執行個體支援開啟MIG功能。 |
ecs.gn7e-c16g1.16xlarge | 否 | 多卡執行個體因安全因素不支援開啟MIG功能。 |
ecs.gn7e-c16g1.32xlarge | 否 |
GPU計算型執行個體規格類型系列gn7i
gn7i的特點如下:
依託第三代神龍架構,提供穩定可預期的超高效能。同時通過晶片快速路徑加速手段,完成儲存、網路效能以及計算穩定性的數量級提升。
計算:
採用NVIDIA A10 GPU卡
創新的Ampere架構
支援RTX、TensorRT等常用加速功能
處理器:2.9 GHz主頻的Intel ® Xeon ® 可擴充處理器(Ice Lake),全核睿頻3.5 GHz
最大可提供752 GiB記憶體,相比gn6i大幅提升
儲存:
I/O最佳化執行個體
僅支援ESSD雲端硬碟和ESSD AutoPL雲端硬碟
網路:
支援IPv6
執行個體網路效能與計算規格對應(規格越高網路效能越強)
適用情境:
配備高效能CPU、記憶體、GPU,可以處理更多並發AI推理任務,適用於Image Recognition、語音辨識、行為識別業務
支援RTX功能,搭配高主頻CPU,提供高效能的3D圖形虛擬化能力,適用於遠程圖形設計、雲遊戲等高強度圖形處理業務
gn7i包括的執行個體規格及指標資料如下表所示。
執行個體規格 | vCPU | 記憶體(GiB) | GPU | GPU顯存 | 網路基礎頻寬(Gbit/s) | 網路收發包PPS | 多隊列 | 彈性網卡 | 單網卡私人IPv4地址數 |
ecs.gn7i-c8g1.2xlarge | 8 | 30 | NVIDIA A10 * 1 | 24GB * 1 | 16 | 160萬 | 8 | 4 | 15 |
ecs.gn7i-c16g1.4xlarge | 16 | 60 | NVIDIA A10 * 1 | 24GB * 1 | 16 | 300萬 | 8 | 8 | 30 |
ecs.gn7i-c32g1.8xlarge | 32 | 188 | NVIDIA A10 * 1 | 24GB * 1 | 16 | 600萬 | 12 | 8 | 30 |
ecs.gn7i-c32g1.16xlarge | 64 | 376 | NVIDIA A10 * 2 | 24GB * 2 | 32 | 1200萬 | 16 | 15 | 30 |
ecs.gn7i-c32g1.32xlarge | 128 | 752 | NVIDIA A10 * 4 | 24GB * 4 | 64 | 2400萬 | 32 | 15 | 30 |
ecs.gn7i-c48g1.12xlarge | 48 | 310 | NVIDIA A10 * 1 | 24GB * 1 | 16 | 900萬 | 16 | 8 | 30 |
ecs.gn7i-c56g1.14xlarge | 56 | 346 | NVIDIA A10 * 1 | 24GB * 1 | 16 | 1200萬 | 16 | 12 | 30 |
ecs.gn7i-2x.8xlarge | 32 | 128 | NVIDIA A10 * 2 | 24GB * 2 | 16 | 600萬 | 16 | 8 | 30 |
ecs.gn7i-4x.8xlarge | 32 | 128 | NVIDIA A10 * 4 | 24GB * 4 | 16 | 600萬 | 16 | 8 | 30 |
ecs.gn7i-4x.16xlarge | 64 | 256 | NVIDIA A10 * 4 | 24GB * 4 | 32 | 1200萬 | 32 | 8 | 30 |
ecs.gn7i-8x.32xlarge | 128 | 512 | NVIDIA A10 * 8 | 24GB * 8 | 64 | 2400萬 | 32 | 16 | 30 |
ecs.gn7i-8x.16xlarge | 64 | 256 | NVIDIA A10 * 8 | 24GB * 8 | 32 | 1200萬 | 32 | 8 | 30 |
您可以前往ECS執行個體可購買地區,查看執行個體在各地區的可購情況。
ecs.gn7i-2x.8xlarge、ecs.gn7i-4x.8xlarge、ecs.gn7i-4x.16xlarge、ecs.gn7i-8x.32xlarge以及ecs.gn7i-8x.16xlarge執行個體規格支援更改為ecs.gn7i-c8g1.2xlarge或ecs.gn7i-c16g1.4xlarge執行個體規格,但不支援更改為ecs.gn7i-c32g1.8xlarge等其他執行個體規格。
指標的含義請參見執行個體規格類型系列。由於業務情境的不同,網路收發包PPS會存在明顯差異。因此,我們建議您進行業務壓測以瞭解執行個體的效能表現,以便選擇合適的執行個體規格。
GPU計算型執行個體規格類型系列gn7s
gn7s的特點如下:
採用全新的Intel IceLake處理器,同時搭載Nvidia Ampere架構的NVIDIA A30 GPU卡,您可以根據需要選擇不同卡數和不同CPU資源的規格,靈活適應不同的AI業務需求。
基於阿里雲全新的第三代神龍架構,VPC和雲端硬碟網路頻寬相比上一代平均提升一倍。
計算:
採用NVIDIA A30 GPU卡
創新的Nvidia Ampere架構
支援MIG(Multi-Instance GPU)功能、加速功能(基於第二代Tensor Cores加速),提供多種業務支援。
處理器:2.9 GHz主頻的Intel ® Xeon ® 可擴充處理器(Ice Lake),全核睿頻3.5 GHz
容量記憶體相比上一代執行個體規格類型系列大幅提升
儲存:僅支援ESSD雲端硬碟和ESSD AutoPL雲端硬碟
網路:
支援IPv6
執行個體網路效能與計算規格對應(規格越高網路效能越強)
適用情境:配備高效能CPU、記憶體、GPU,可以處理更多並發AI推理業務需求,適用於Image Recognition、語音辨識、行為識別業務。
gn7s包括的執行個體規格及指標資料如下表所示:
執行個體規格 | vCPU | 記憶體(GiB) | GPU | GPU顯存 | 網路基礎頻寬(Gbit/s) | 網路收發包PPS | 單網卡IPv6地址數 | 多隊列 | 彈性網卡 |
ecs.gn7s-c8g1.2xlarge | 8 | 60 | NVIDIA A30 * 1 | 24GB * 1 | 16 | 600萬 | 1 | 12 | 8 |
ecs.gn7s-c16g1.4xlarge | 16 | 120 | NVIDIA A30 * 1 | 24GB * 1 | 16 | 600萬 | 1 | 12 | 8 |
ecs.gn7s-c32g1.8xlarge | 32 | 250 | NVIDIA A30 * 1 | 24GB * 1 | 16 | 600萬 | 1 | 12 | 8 |
ecs.gn7s-c32g1.16xlarge | 64 | 500 | NVIDIA A30 * 2 | 24GB * 2 | 32 | 1200萬 | 1 | 16 | 15 |
ecs.gn7s-c32g1.32xlarge | 128 | 1000 | NVIDIA A30 * 4 | 24GB * 4 | 64 | 2400萬 | 1 | 32 | 15 |
ecs.gn7s-c48g1.12xlarge | 48 | 380 | NVIDIA A30 * 1 | 24GB * 1 | 16 | 600萬 | 1 | 12 | 8 |
ecs.gn7s-c56g1.14xlarge | 56 | 440 | NVIDIA A30 * 1 | 24GB * 1 | 16 | 600萬 | 1 | 12 | 8 |
您可以前往ECS執行個體可購買地區,查看執行個體在各地區的可購情況。
指標的含義請參見執行個體規格類型系列。由於業務情境的不同,網路收發包PPS會存在明顯差異。因此,我們建議您進行業務壓測以瞭解執行個體的效能表現,以便選擇合適的執行個體規格。
GPU計算型執行個體規格類型系列gn7
gn7的特點如下:
儲存:
I/O最佳化執行個體
僅支援ESSD雲端硬碟和ESSD AutoPL雲端硬碟
網路:
支援IPv6
執行個體網路效能與計算規格對應(規格越高網路效能越強)
適用情境:
深度學習,例如映像分類、無人駕駛、語音辨識等人工智慧演算法的訓練應用
高GPU負載的科學計算,例如計算流體動力學、計算金融學、分子動力學、環境分析等
gn7包括的執行個體規格及指標資料如下表所示。
執行個體規格 | vCPU | 記憶體(GiB) | GPU顯存 | 網路基礎頻寬(Gbit/s) | 網路收發包PPS | 多隊列 | 彈性網卡 |
ecs.gn7-c12g1.3xlarge | 12 | 94 | 40GB * 1 | 4 | 250萬 | 4 | 8 |
ecs.gn7-c13g1.13xlarge | 52 | 378 | 40GB * 4 | 16 | 900萬 | 16 | 8 |
ecs.gn7-c13g1.26xlarge | 104 | 756 | 40GB * 8 | 30 | 1800萬 | 16 | 15 |
您可以前往ECS執行個體可購買地區,查看執行個體在各地區的可購情況。
指標的含義請參見執行個體規格類型系列。由於業務情境的不同,網路收發包PPS會存在明顯差異。因此,我們建議您進行業務壓測以瞭解執行個體的效能表現,以便選擇合適的執行個體規格。
在Elastic Compute Service控制台建立gn7執行個體或重啟gn7執行個體後,系統預設該執行個體的MIG(Multi-Instance GPU)功能是關閉狀態。關於MIG(Multi-Instance GPU)的更多資訊,請參見NVIDIA Multi-Instance GPU User Guide。
gn7執行個體是否支援開啟MIG功能的說明如下所示:
執行個體規格 | 是否支援開啟MIG功能 | 說明 |
ecs.gn7-c12g1.3xlarge | 是 | 單卡執行個體支援開啟MIG功能。 |
ecs.gn7-c13g1.13xlarge | 否 | 多卡執行個體因安全因素不支援開啟MIG功能。 |
ecs.gn7-c13g1.26xlarge | 否 |
GPU計算型執行個體規格類型系列gn6i
gn6i的特點如下:
計算:
GPU加速器:T4
創新的Turing架構
單GPU顯存16 GB(GPU顯存頻寬320 GB/s)
單GPU 2560個CUDA Cores
單GPU多達320個Turing Tensor Cores
可變精度Tensor Cores支援65 TFlops FP16、130 INT8 TOPS、260 INT4 TOPS
處理器與記憶體配比約為1:4
處理器:2.5 GHz主頻的Intel ® Xeon ® Platinum 8163(Skylake)
儲存:
I/O最佳化執行個體
僅支援ESSD雲端硬碟、ESSD AutoPL雲端硬碟、SSD雲端硬碟和高效雲端硬碟
網路:
支援IPv6
執行個體網路效能與計算規格對應(規格越高網路效能越強)
適用情境:
AI(DL和ML)推理,適合電腦視覺、語音辨識、語音合成、NLP、機器翻譯、推薦系統
雲遊戲雲端即時渲染
AR和VR的雲端即時渲染
重載圖形計算或圖形工作站
GPU加速資料庫
高效能運算
gn6i包括的執行個體規格及指標資料如下表所示。
執行個體規格 | vCPU | 記憶體(GiB) | GPU | GPU顯存 | 網路基礎頻寬(Gbit/s) | 網路收發包PPS | 雲端硬碟基礎IOPS | 多隊列 | 彈性網卡 | 單網卡私人IPv4地址數 |
ecs.gn6i-c4g1.xlarge | 4 | 15 | NVIDIA T4 * 1 | 16GB * 1 | 4 | 50萬 | 無 | 2 | 2 | 10 |
ecs.gn6i-c8g1.2xlarge | 8 | 31 | NVIDIA T4 * 1 | 16GB * 1 | 5 | 80萬 | 無 | 2 | 2 | 10 |
ecs.gn6i-c16g1.4xlarge | 16 | 62 | NVIDIA T4 * 1 | 16GB * 1 | 6 | 100萬 | 無 | 4 | 3 | 10 |
ecs.gn6i-c24g1.6xlarge | 24 | 93 | NVIDIA T4 * 1 | 16GB * 1 | 7.5 | 120萬 | 無 | 6 | 4 | 10 |
ecs.gn6i-c40g1.10xlarge | 40 | 155 | NVIDIA T4 * 1 | 16GB * 1 | 10 | 160萬 | 無 | 16 | 10 | 10 |
ecs.gn6i-c24g1.12xlarge | 48 | 186 | NVIDIA T4 * 2 | 16GB * 2 | 15 | 240萬 | 無 | 12 | 6 | 10 |
ecs.gn6i-c24g1.24xlarge | 96 | 372 | NVIDIA T4 * 4 | 16GB * 4 | 30 | 480萬 | 25萬 | 24 | 8 | 10 |
您可以前往ECS執行個體可購買地區,查看執行個體在各地區的可購情況。
指標的含義請參見執行個體規格類型系列。由於業務情境的不同,網路收發包PPS會存在明顯差異。因此,我們建議您進行業務壓測以瞭解執行個體的效能表現,以便選擇合適的執行個體規格。
GPU計算型執行個體規格類型系列gn6e
gn6e的特點如下:
計算:
採用NVIDIA V100(32 GB NVLink)GPU卡
GPU加速器:V100(SXM2封裝)
創新的Volta架構
單GPU顯存32 GB HBM2(GPU顯存頻寬900 GB/s)
單GPU 5120個CUDA Cores
單GPU 640個Tensor Cores
單GPU支援6個NVLink鏈路(NVLink屬於雙向鏈路),單向鏈路的頻寬為25 Git/s,總頻寬為6×25×2=300 Git/s
處理器與記憶體配比約為1:8
處理器:2.5 GHz主頻的Intel ® Xeon ® Platinum 8163(Skylake)
儲存:
I/O最佳化執行個體
僅支援ESSD雲端硬碟、ESSD AutoPL雲端硬碟、SSD雲端硬碟和高效雲端硬碟
網路:
支援IPv6
執行個體網路效能與計算規格對應(規格越高網路效能越強)
適用情境:
深度學習,例如映像分類、無人駕駛、語音辨識等人工智慧演算法的訓練、推理應用
科學計算,例如計算流體動力學、計算金融學、分子動力學、環境分析等
gn6e包括的執行個體規格及指標資料如下表所示。
執行個體規格 | vCPU | 記憶體(GiB) | GPU | GPU顯存 | 網路基礎頻寬(Gbit/s) | 網路收發包PPS | 多隊列 | 彈性網卡 | 單網卡私人IPv4地址數 |
ecs.gn6e-c12g1.3xlarge | 12 | 92 | NVIDIA V100 * 1 | 32GB * 1 | 5 | 80萬 | 8 | 6 | 10 |
ecs.gn6e-c12g1.12xlarge | 48 | 368 | NVIDIA V100 * 4 | 32GB * 4 | 16 | 240萬 | 8 | 8 | 20 |
ecs.gn6e-c12g1.24xlarge | 96 | 736 | NVIDIA V100 * 8 | 32GB * 8 | 32 | 480萬 | 16 | 8 | 20 |
您可以前往ECS執行個體可購買地區,查看執行個體在各地區的可購情況。
指標的含義請參見執行個體規格類型系列。由於業務情境的不同,網路收發包PPS會存在明顯差異。因此,我們建議您進行業務壓測以瞭解執行個體的效能表現,以便選擇合適的執行個體規格。
GPU計算型執行個體規格類型系列gn6v
gn6v的特點如下:
計算:
採用NVIDIA V100 GPU卡
GPU加速器:V100(SXM2封裝)
創新的Volta架構
單GPU顯存16 GB HBM2(GPU顯存頻寬900 GB/s)
單GPU 5120個CUDA Cores
單GPU 640個Tensor Cores
單GPU支援6個NVLink鏈路(NVLink屬於雙向鏈路),單向鏈路的頻寬為25 Git/s,總頻寬為6×25×2=300 Git/s
處理器與記憶體配比約為1:4
處理器:2.5 GHz主頻的Intel ® Xeon ® Platinum 8163(Skylake)
儲存:
I/O最佳化執行個體
僅支援ESSD雲端硬碟、ESSD AutoPL雲端硬碟、SSD雲端硬碟和高效雲端硬碟
網路:
支援IPv6
執行個體網路效能與計算規格對應(規格越高網路效能越強)
適用情境:
深度學習,例如映像分類、無人駕駛、語音辨識等人工智慧演算法的訓練、推理應用
科學計算,例如計算流體動力學、計算金融學、分子動力學、環境分析等
gn6v包括的執行個體規格及指標資料如下表所示。
執行個體規格 | vCPU | 記憶體(GiB) | GPU | GPU顯存 | 網路基礎頻寬(Gbit/s) | 網路收發包PPS | 雲端硬碟基礎IOPS | 多隊列 | 彈性網卡 | 單網卡私人IPv4地址數 |
ecs.gn6v-c8g1.2xlarge | 8 | 32 | NVIDIA V100 * 1 | 16GB * 1 | 2.5 | 80萬 | 無 | 4 | 4 | 10 |
ecs.gn6v-c8g1.8xlarge | 32 | 128 | NVIDIA V100 * 4 | 16GB * 4 | 10 | 200萬 | 無 | 8 | 8 | 20 |
ecs.gn6v-c8g1.16xlarge | 64 | 256 | NVIDIA V100 * 8 | 16GB * 8 | 20 | 250萬 | 無 | 16 | 8 | 20 |
ecs.gn6v-c10g1.20xlarge | 82 | 336 | NVIDIA V100 * 8 | 16GB * 8 | 32 | 450萬 | 25萬 | 16 | 8 | 20 |
您可以前往ECS執行個體可購買地區,查看執行個體在各地區的可購情況。
指標的含義請參見執行個體規格指標說明。
GPU計算型ECS Bare Metal Instance執行個體規格類型系列ebmgn8is
該執行個體目前僅支援海外等部分地區,如有需求,請聯絡阿里雲銷售人員。
ebmgn8is特點如下:
ebmgn8is是阿里雲針對近期AI產生業務的發展推出的第8代加速運算規格類型系列(彈性裸金屬執行個體規格類型系列),每個執行個體為一台採用了8個GPU計算卡的裸金屬主機。
產品特色及定位
圖形處理:該產品採用Intel第5代Xeon Scaleable高主頻處理器,在3D建模情境,為您提供足夠的CPU算力支撐,使得圖形的渲染和設計更加順暢。
推理任務:採用全新48 GB顯存的圖形處理器(GPU)來加速推理任務,支援FP8浮點數格式,搭配ACK容器可靈活支援各類AIGC模型的推理,尤其適用於70 B以下LLM模型的推理任務。
訓練任務:該執行個體提供高性價比的計算能力,FP32計算效能相比7代推理執行個體提升1倍,特別適用於基於FP32開發的CV類模型和其他各類中小模型的訓練。
採用最新的CIPU 1.0雲處理器
具有解耦計算和儲存能力,可以靈活選擇所需儲存資源。相對於上一代,該執行個體規格的機器間頻寬提升至160 Gbit/s,可以更快地完成資料轉送和處理。
CIPU提供裸金屬能力,相對於傳統虛擬化執行個體,可以支援GPU執行個體之間的PCIE P2P通訊。
計算:
採用全新GPU計算卡
支援vGPU、RTX、TensorRT等常用加速功能
採用PCIE Switch互聯,相比直連CPU方案,其NCCL效能提升36%,多卡分區推理大模型時,推理效能最大提升9%
顯存容量提升至48 GB*8卡,支援70 B及更大模型單機推理
處理器:3.4 GHz主頻的Intel ® Xeon ®可擴充處理器(SPR),全核睿頻可達3.9 GHz
儲存:
均為I/O最佳化執行個體
僅支援ESSD雲端硬碟和ESSD AutoPL雲端硬碟,支援EED彈性緩衝盤
網路:
支援IPv4、IPv6
超高網路效能,3000萬PPS網路收發包能力
支援ERI(Elastic RDMA Interface),可以在VPC網路下實現RDMA直通加速互聯,將頻寬提升至160 Gbit/s,可用於CV和傳統模型的訓練業務。
說明關於ERI的使用說明,請參見在企業級執行個體上配置eRDMA。
適用情境:
結合雲市場的GRID鏡像使用GRID圖形驅動,啟動OpenGL和Direct3D圖形能力,提供工作站級圖形處理能力,適用於動漫、影視特效製作和渲染
結合ACK容器化管理能力,更高效、低成本地支撐AIGC圖形產生和LLM大模型推理(最大支援130 B)
其他通用AI識別情境、Image Recognition、語音辨識等
ebmgn8is包括的執行個體規格及指標資料如下表所示。
執行個體規格 | vCPU | 記憶體(GiB) | GPU顯存 | 網路基礎頻寬(Gbit/s) | 網路收發包PPS | 單網卡私人IPv4地址數 | 單網卡IPv6地址數 | 多隊列(主網卡/輔助網卡) | 彈性網卡 | 最大掛在資料盤數 | 雲端硬碟最大頻寬(Gbit/s) |
ecs.ebmgn8is.32xlarge | 128 | 1024 | 48GB*8 | 160(80 * 2) | 3000萬 | 30 | 30 | 64/16 | 32 | 31 | 6 |
您可以前往ECS執行個體可購買地區,查看執行個體在各地區的可購情況。
ebmgn8is執行個體規格所使用的鏡像啟動模式必須為UEFI模式。如果您需要使用自訂鏡像,請確保該自訂鏡像支援UEFI啟動模式,並且鏡像的啟動模式屬性已設定為UEFI模式。具體操作,請參見通過API設定自訂鏡像的啟動模式為UEFI模式。
指標的含義請參見執行個體規格類型系列。由於業務情境的不同,網路收發包PPS會存在明顯差異。因此,我們建議您進行業務壓測以瞭解執行個體的效能表現,以便選擇合適的執行個體規格。
暫無法擷取EBM彈性裸金屬執行個體的CPU基礎監控資訊,您可通過安裝CloudMonitor外掛程式擷取CPU監控資訊。具體操作,請參見安裝CloudMonitor外掛程式。
GPU計算型ECS Bare Metal Instance執行個體規格類型系列ebmgn7e
ebmgn7e的特點如下:
基於神龍架構,實現軟體定義程式硬體計算,靈活彈性與強悍效能兼備
計算:
處理器:基於Intel ® Xeon ®Scalable計算平台,2.9 GHz主頻,全核睿頻3.5 GHz,支援PCIe 4.0介面
儲存:
I/O最佳化執行個體
僅支援ESSD雲端硬碟和ESSD AutoPL雲端硬碟
網路:
支援IPv6
超高網路效能,2400萬PPS網路收發包能力
適用情境:
各類深度學習訓練開發業務
HPC加速計算和模擬
重要在使用高通訊負載的AI訓練業務如Transformer等模型時,務必啟用NVLink進行GPU間的資料通訊,否則可能由於PCIe鏈路大規模資料轉送引起非預期的故障,導致資料受損。如不確定您使用的訓練通訊鏈路拓撲,請提交工單由阿里雲技術專家為您提供支援人員。
ebmgn7e包括的執行個體規格及指標資料如下表所示。
執行個體規格 | vCPU | 記憶體(GiB) | GPU顯存 | 網路基礎頻寬(Gbit/s) | 網路收發包PPS | 多隊列(主網卡/輔助網卡) | 彈性網卡 |
ecs.ebmgn7e.32xlarge | 128 | 1024 | 80GB * 8 | 64 | 2400萬 | 32/12 | 32 |
您可以前往ECS執行個體可購買地區,查看執行個體在各地區的可購情況。
指標的含義請參見執行個體規格類型系列。由於業務情境的不同,網路收發包PPS會存在明顯差異。因此,我們建議您進行業務壓測以瞭解執行個體的效能表現,以便選擇合適的執行個體規格。
暫無法擷取EBM彈性裸金屬執行個體的CPU基礎監控資訊,您可通過安裝CloudMonitor外掛程式擷取CPU監控資訊。具體操作,請參見安裝CloudMonitor外掛程式。
MIG(Multi-Instance GPU)功能需要您在ebmgn7e執行個體啟動後自行檢查並決定是否開啟或關閉,系統無法保證MIG(Multi-Instance GPU)功能是開啟或關閉狀態。關於MIG(Multi-Instance GPU)的更多資訊,請參見NVIDIA Multi-Instance GPU User Guide。
ebmgn7e執行個體是否支援開啟MIG功能的說明如下所示:
執行個體規格 | 是否支援開啟MIG功能 | 說明 |
ecs.ebmgn7e.32xlarge | 是 | ebmgn7e裸金屬執行個體支援開啟MIG功能。 |
GPU計算型ECS Bare Metal Instance執行個體規格類型系列ebmgn7i
ebmgn7i的特點如下:
基於神龍架構,實現軟體定義程式硬體計算,靈活彈性與強悍效能兼備
計算:
採用NVIDIA A10 GPU計算卡
創新的Ampere架構
支援vGPU、RTX、TensorRT等常用加速功能
處理器:2.9 GHz主頻的Intel ® Xeon ®可擴充處理器(Ice Lake),全核睿頻3.5 GHz
儲存:
I/O最佳化執行個體
僅支援ESSD雲端硬碟和ESSD AutoPL雲端硬碟
網路:
支援IPv6
超高網路效能,2400萬PPS網路收發包能力
適用情境:
配備高效能CPU、記憶體、GPU,可以處理更多並發AI推理任務,適用於Image Recognition、語音辨識、行為識別業務
支援RTX功能,搭配高主頻CPU,提供高效能的3D圖形虛擬化能力,適用於遠程圖形設計、雲遊戲等高強度圖形處理業務
支援RTX功能,搭配高網路頻寬和雲端硬碟頻寬,適用於搭建高效能渲染農場
配備多個GPU,搭配高網路頻寬,適用於小規模深度學習訓練業務
ebmgn7i包括的執行個體規格及指標資料如下表所示。
執行個體規格 | vCPU | 記憶體(GiB) | GPU | GPU顯存 | 網路基礎頻寬(Gbit/s) | 網路收發包PPS | 多隊列 | 彈性網卡 |
ecs.ebmgn7i.32xlarge | 128 | 768 | NVIDIA A10 * 4 | 24GB * 4 | 64 | 2400萬 | 32 | 32 |
您可以前往ECS執行個體可購買地區,查看執行個體在各地區的可購情況。
指標的含義請參見執行個體規格類型系列。
暫無法擷取EBM彈性裸金屬執行個體的CPU基礎監控資訊,您可通過安裝CloudMonitor外掛程式擷取CPU監控資訊。具體操作,請參見安裝CloudMonitor外掛程式。
GPU計算型ECS Bare Metal Instance執行個體規格類型系列ebmgn7
ebmgn7的特點如下:
基於神龍架構,實現軟體定義程式硬體計算,靈活彈性與強悍效能兼備
計算:
處理器:2.5 GHz主頻的Intel ® Xeon ® Platinum 8269CY(Cascade Lake)
儲存:
I/O最佳化執行個體
僅支援ESSD雲端硬碟和ESSD AutoPL雲端硬碟
網路:
支援IPv6
執行個體網路效能與計算規格對應(規格越高網路效能越強)
適用情境:
深度學習,例如映像分類、無人駕駛、語音辨識等人工智慧演算法的訓練應用
高GPU負載的科學計算,例如計算流體動力學、計算金融學、分子動力學、環境分析等
ebmgn7包括的執行個體規格及指標資料如下表所示。
執行個體規格 | vCPU | 記憶體(GiB) | 網路基礎頻寬(Gbit/s) | 網路收發包PPS | 多隊列 | 彈性網卡 | 單網卡私人IPv4地址數 |
ecs.ebmgn7.26xlarge | 104 | 768 | 30 | 1800萬 | 16 | 15 | 10 |
您可以前往ECS執行個體可購買地區,查看執行個體在各地區的可購情況。
指標的含義請參見執行個體規格類型系列。
暫無法擷取EBM彈性裸金屬執行個體的CPU基礎監控資訊,您可通過安裝CloudMonitor外掛程式擷取CPU監控資訊。具體操作,請參見安裝CloudMonitor外掛程式。
MIG(Multi-Instance GPU)功能需要您在ebmgn7執行個體啟動後自己檢查並決定是否開啟或關閉,系統無法保證MIG(Multi-Instance GPU)功能是開啟還是關閉狀態。關於MIG(Multi-Instance GPU)的更多資訊,請參見NVIDIA Multi-Instance GPU User Guide。
ebmgn7執行個體是否支援開啟MIG功能的說明如下所示:
執行個體規格 | 是否支援開啟MIG功能 | 說明 |
ecs.ebmgn7.26xlarge | 是 | ebmgn7裸金屬執行個體支援開啟MIG功能。 |
GPU計算型ECS Bare Metal Instance執行個體規格類型系列ebmgn6ia
ebmgn6ia的特點如下:
依託第三代神龍架構,通過晶片快速路徑加速手段,提供穩定可預期的超高計算、儲存和網路效能
採用NVIDIA T4 GPU計算加速器提供GPU加速能力,助力圖形和AI業務,搭配容器技術可以提供60路以上虛擬Android終端,並對每路終端顯示進行硬體視頻轉碼加速
計算:
處理器與記憶體配比約為1:3
處理器:2.8 GHz主頻的Ampere® Altra®處理器,睿頻3.0 GHz,原生ARM計算平台為Android伺服器提供高效的效能和優秀的App相容性
儲存:
I/O最佳化執行個體
僅支援ESSD雲端硬碟和ESSD AutoPL雲端硬碟
網路:
支援IPv6
適用情境:
基於Android提供App遠端服務,例如雲業務線上待機、雲手遊和雲手機、Android業務爬蟲
ebmgn6ia包括的執行個體規格及指標資料如下表所示。
執行個體規格 | vCPU | 記憶體(GiB) | GPU | GPU顯存 | 網路基礎頻寬(Gbit/s) | 網路收發包PPS | 多隊列 | 彈性網卡 | 單網卡私人IPv4地址數 |
ecs.ebmgn6ia.20xlarge | 80 | 256 | NVIDIA T4 * 2 | 16GB * 2 | 32 | 2400萬 | 32 | 15 | 10 |
您可以前往ECS執行個體可購買地區,查看執行個體在各地區的可購情況。
指標的含義請參見執行個體規格類型系列。
Ampere® Altra®處理器對作業系統核心版本有一定要求。當您使用該執行個體規格建立ECS執行個體時,可以直接選用Alibaba Cloud Linux 3和CentOS 8.4及以上版本的作業系統鏡像(建議您使用Alibaba Cloud Linux 3鏡像)。如果您需要使用其他動作系統版本,請參見Ampere Altra (TM) Linux Kernel Porting Guide,在指定作業系統的ECS執行個體中為核心打上相應的補丁,完成之後基於該ECS執行個體建立自訂鏡像,然後再通過自訂鏡像建立新的ECS執行個體時選擇該執行個體規格。
暫無法擷取EBM彈性裸金屬執行個體的CPU基礎監控資訊,您可通過安裝CloudMonitor外掛程式擷取CPU監控資訊。具體操作,請參見安裝CloudMonitor外掛程式。
GPU計算型ECS Bare Metal Instance執行個體規格類型系列ebmgn6e
ebmgn6e的特點如下:
基於神龍架構,實現軟體定義程式硬體計算,靈活彈性與強悍效能兼備
採用NVIDIA V100(32 GB NVLink) GPU計算卡
GPU加速器:V100(SXM2封裝)
創新的Volta架構
單GPU顯存32 GB HBM2(GPU顯存頻寬900 GB/s)
單GPU 5120個CUDA Cores
單GPU 640個Tensor Cores
單GPU支援6個NVLink鏈路(NVLink屬於雙向鏈路),單向鏈路的頻寬為25 GB/s,總頻寬為6×25×2=300 GB/s
計算:
處理器與記憶體配比為1:8
處理器:2.5 GHz主頻的Intel ® Xeon ® Platinum 8163(Skylake)
儲存:
I/O最佳化執行個體
僅支援ESSD雲端硬碟、ESSD AutoPL雲端硬碟、SSD雲端硬碟和高效雲端硬碟
網路:
支援IPv6
執行個體網路效能與計算規格對應(規格越高網路效能越強)
適用情境:
深度學習,例如映像分類、無人駕駛、語音辨識等人工智慧演算法的訓練以及推理應用
科學計算,例如計算流體動力學、計算金融學、分子動力學、環境分析等
ebmgn6e包括的執行個體規格及指標資料如下表所示。
執行個體規格 | vCPU | 記憶體(GiB) | GPU | GPU顯存 | 網路基礎頻寬(Gbit/s) | 網路收發包PPS | 多隊列 | 彈性網卡 | 單網卡私人IPv4地址數 |
ecs.ebmgn6e.24xlarge | 96 | 768 | NVIDIA V100 * 8 | 32GB * 8 | 32 | 480萬 | 16 | 15 | 10 |
您可以前往ECS執行個體可購買地區,查看執行個體在各地區的可購情況。
指標的含義請參見執行個體規格類型系列。
暫無法擷取EBM彈性裸金屬執行個體的CPU基礎監控資訊,您可通過安裝CloudMonitor外掛程式擷取CPU監控資訊。具體操作,請參見安裝CloudMonitor外掛程式。
GPU計算型ECS Bare Metal Instance執行個體規格類型系列ebmgn6v
ebmgn6v的特點如下:
基於神龍架構,實現軟體定義程式硬體計算,靈活彈性與強悍效能兼備
採用NVIDIA V100 GPU計算卡
GPU加速器:V100(SXM2封裝)
創新的Volta架構
單GPU顯存16 GB HBM2(GPU顯存頻寬900 GB/s)
單GPU 5120個CUDA Cores
單GPU 640個Tensor Cores
單GPU支援6個NVLink鏈路(NVLink屬於雙向鏈路),單向鏈路的頻寬為25 GB/s,總頻寬為6×25×2=300 GB/s
計算:
處理器與記憶體配比為1:4
處理器:2.5 GHz主頻的Intel ® Xeon ® Platinum 8163(Skylake)
儲存:
I/O最佳化執行個體
僅支援ESSD雲端硬碟、ESSD AutoPL雲端硬碟、SSD雲端硬碟和高效雲端硬碟
網路:
支援IPv6
執行個體網路效能與計算規格對應(規格越高網路效能越強)
適用情境:
深度學習,例如映像分類、無人駕駛、語音辨識等人工智慧演算法的訓練以及推理應用
科學計算,例如計算流體動力學、計算金融學、分子動力學、環境分析等
ebmgn6v包括的執行個體規格及指標資料如下表所示。
執行個體規格 | vCPU | 記憶體(GiB) | GPU | GPU顯存 | 網路基礎頻寬(Gbit/s) | 網路收發包PPS | 多隊列 | 彈性網卡 | 單網卡私人IPv4地址數 |
ecs.ebmgn6v.24xlarge | 96 | 384 | NVIDIA V100 * 8 | 16GB * 8 | 30 | 450萬 | 8 | 32 | 10 |
您可以前往ECS執行個體可購買地區,查看執行個體在各地區的可購情況。
指標的含義請參見執行個體規格類型系列。
暫無法擷取EBM彈性裸金屬執行個體的CPU基礎監控資訊,您可通過安裝CloudMonitor外掛程式擷取CPU監控資訊。具體操作,請參見安裝CloudMonitor外掛程式。
GPU計算型ECS Bare Metal Instance執行個體規格類型系列ebmgn6i
ebmgn6i的特點如下:
基於神龍架構,實現軟體定義程式硬體計算,靈活彈性與強悍效能兼備
GPU加速器:T4
創新的Turing架構
單GPU顯存16 GB(GPU顯存頻寬320 GB/s)
單GPU 2560個CUDA Cores
單GPU多達320個Turing Tensor Cores
可變精度Tensor Cores支援65 TFlops FP16、130 INT8 TOPS、260 INT4 TOPS
計算:
處理器與記憶體配比為1:4
處理器:2.5 GHz主頻的Intel ® Xeon ® Platinum 8163(Skylake)
儲存:
I/O最佳化執行個體
僅支援ESSD、ESSD AutoPL雲端硬碟、SSD雲端硬碟和高效雲端硬碟
網路:
支援IPv6
執行個體網路效能與計算規格對應(規格越高網路效能越強)
適用情境:
AI(DL/ML)推理,適合電腦視覺、語音辨識、語音合成、NLP、機器翻譯、推薦系統
雲遊戲雲端即時渲染
AR/VR的雲端即時渲染
重載圖形計算或圖形工作站
GPU加速資料庫
高效能運算
ebmgn6i包括的執行個體規格及指標資料如下表所示。
執行個體規格 | vCPU | 記憶體(GiB) | GPU | GPU顯存 | 網路基礎頻寬(Gbit/s) | 網路收發包PPS | 多隊列 | 彈性網卡 | 單網卡私人IPv4地址數 |
ecs.ebmgn6i.24xlarge | 96 | 384 | NVIDIA T4 * 4 | 16GB * 4 | 30 | 450萬 | 8 | 32 | 10 |
您可以前往ECS執行個體可購買地區,查看執行個體在各地區的可購情況。
指標的含義請參見執行個體規格類型系列。
暫無法擷取EBM彈性裸金屬執行個體的CPU基礎監控資訊,您可通過安裝CloudMonitor外掛程式擷取CPU監控資訊。具體操作,請參見安裝CloudMonitor外掛程式。
GPU計算型執行個體規格類型系列gn5i
gn5i的特點如下:
計算:
採用NVIDIA P4 GPU卡
處理器與記憶體配比為1:4
處理器:2.5 GHz主頻的Intel ® Xeon ® E5-2682 v4(Broadwell)
儲存:
I/O最佳化執行個體
僅支援SSD雲端硬碟和高效雲端硬碟
網路:
支援IPv6
執行個體網路效能與計算規格對應(規格越高網路效能越強)
適用情境:
深度學習推理
多媒體編解碼等伺服器端GPU計算工作負載
gn5i包括的執行個體規格及指標資料如下:
執行個體規格 | vCPU | 記憶體(GiB) | GPU | GPU顯存 | 網路基礎頻寬(Gbit/s) | 網路收發包PPS | 多隊列 | 彈性網卡 | 單網卡私人IPv4地址數 |
ecs.gn5i-c2g1.large | 2 | 8 | NVIDIA P4 * 1 | 8GB * 1 | 1 | 10萬 | 2 | 2 | 6 |
ecs.gn5i-c4g1.xlarge | 4 | 16 | NVIDIA P4 * 1 | 8GB * 1 | 1.5 | 20萬 | 2 | 3 | 10 |
ecs.gn5i-c8g1.2xlarge | 8 | 32 | NVIDIA P4 * 1 | 8GB * 1 | 2 | 40萬 | 4 | 4 | 10 |
ecs.gn5i-c16g1.4xlarge | 16 | 64 | NVIDIA P4 * 1 | 8GB * 1 | 3 | 80萬 | 4 | 8 | 20 |
ecs.gn5i-c16g1.8xlarge | 32 | 128 | NVIDIA P4 * 2 | 8GB * 2 | 6 | 120萬 | 8 | 8 | 20 |
ecs.gn5i-c28g1.14xlarge | 56 | 224 | NVIDIA P4 * 2 | 8GB * 2 | 10 | 200萬 | 14 | 8 | 20 |
您可以前往ECS執行個體可購買地區,查看執行個體在各地區的可購情況。
指標的含義請參見執行個體規格類型系列。由於業務情境的不同,網路收發包PPS會存在明顯差異。因此,我們建議您進行業務壓測以瞭解執行個體的效能表現,以便選擇合適的執行個體規格。