全部產品
Search
文件中心

Elastic Compute Service:巨量資料型執行個體規格(d系列)

更新時間:Dec 20, 2024

巨量資料型執行個體規格(d系列)處理器與記憶體配比為1:4(部分規格不為1:4),適用於Hadoop MapReduce、HDFS、Hive、HBase等巨量資料計算和儲存業務情境,以及Elasticsearch、Kafka等搜尋和日誌資料處理情境。

背景資訊

在閱讀各個執行個體規格類型系列的特點及詳細指標之前,您需要提前學習以下資訊:

在確定您要選擇的執行個體規格之後,您可能需要進一步瞭解以下資訊:

  • 查看執行個體可購買地區:各個地區下可供售賣的執行個體規格可能存在差異,執行個體的可購情況,您可以前往ECS執行個體可購買地區查看,也可以調用DescribeRegionsDescribeZones查詢ECS資源支援的地區和可用性區域。

  • 預估執行個體費用:想瞭解執行個體在不同付費方式下大概的花費,可使用阿里雲的ECS價格計算機查看,也可以調用DescribePrice查詢ECS資源的最新價格。

  • 直接購買執行個體:可直接前往ECS購買頁下單。

您可能還會關註:

  • 查看已停售的規格類型系列:如果在本頁面沒有找到您想要的執行個體規格類型系列,可前往已停售的規格類型系列群,詳情請參見已停售的執行個體規格

  • 執行個體規格的變更配置情況:想擷取某個執行個體規格是否支援變更配置到其他執行個體規格,由於可變更配置的執行個體規格之間有一定的限制,請參見支援變更配置的執行個體規格

推薦

不推薦(如果以下規格售罄,建議使用前面的規格)

巨量資料型執行個體規格類型系列介紹

警告

本地碟的資料可靠性取決於物理機的可靠性,存在單點故障風險。使用本地碟儲存資料有遺失資料的風險,請勿在本地碟上儲存需要長期儲存的業務資料。更多資訊,請參見本地碟

巨量資料型執行個體規格類型系列旨在解決巨量資料時代下海量業務資料的雲上計算和儲存難題,適用於Hadoop分散式運算、海量Tlog和大型資料倉儲等需要海量資料存放區和離線計算的業務情境,充分滿足以Hadoop為代表的分散式運算業務對執行個體儲存效能、容量和內網頻寬等方面要求。

巨量資料型執行個體規格類型系列適合有巨量資料計算與儲存分析需求的行業客戶,例如互連網行業、金融行業等。同時,結合以Hadoop為代表的分散式運算業務的高可用架構,巨量資料型執行個體採用本機存放區的設計,保證海量儲存空間、高儲存效能。

巨量資料執行個體具有以下特點:

  • 基於企業級架構提供穩定計算能力,為高效處理計算作業提供保障。

  • 網路效能更高(包括單一實例最大內網頻寬和最大小包轉寄率),滿足業務高峰期執行個體間的資料互動需求,例如MapReduce計算架構下的Shuffle過程。

使用巨量資料執行個體時請注意:

  • 不支援變更配置。

  • 本地碟與特定規格的執行個體相綁定,本地碟的數量和容量由您選擇的執行個體規格決定。不支援單獨購買本地碟,不支援將本地碟卸載並掛載到另一台執行個體上使用。

  • 本地碟不支援快照功能。如果您需要為本地碟執行個體建立包含系統硬碟和資料盤的鏡像,建議通過組合系統硬碟快照和資料盤(僅限雲端硬碟)快照的方式來建立。

  • 不支援基於執行個體ID建立包含系統硬碟和資料盤的鏡像。

  • 支援掛載SSD雲端硬碟,掛載的雲端硬碟支援擴容。

  • 操作本地碟執行個體可能對本地碟資料產生影響,更多詳情,請參見執行個體操作對本地碟資料的影響

巨量資料執行個體檔案系統掛載最佳實務

使用ext4等檔案系統,首次執行mount操作時需要初始化inode table。在Linux的2.6.37及更高的核心版本中,預設啟用了lazyinit特性,導致inode table初始化會延遲到mount後,且本地碟在初始化時會佔用較大輸送量(例如30個本地碟的輸送量可能高達600 MB/s),影響業務穩定性。4.x版本核心中增加了lazyinit並發度,可以緩解該問題,詳情請參見社區。ECS推薦以下最佳實務,使您在相對較快的時間內完成初始化:

  1. 擷取所有SATA HDD本地碟列表。

  2. 運行以下命令,為每個本地碟開啟獨立的後台初始化。

    本樣本中,在裝置名稱為/dev/vdb的本地碟上建立ext4檔案系統。

    mkfs.ext4 -E lazy_itable_init=0,lazy_journal_init=0 /dev/vdb &
  3. 等待所有本地碟完成初始化,並運行iostat -x 5,直至所有本地碟的I/O活動顯示為0

  4. 批量執行mount操作。

巨量資料儲存密集型執行個體規格類型系列d3s

  • 規格類型系列介紹:執行個體配備12 TB大容量、高吞吐SATA HDD本地碟,輔以最大64 Gbit/s執行個體間網路頻寬。

  • 適用情境

    • Hadoop MapReduce、HDFS、Hive、HBase等巨量資料計算和儲存業務情境。

    • Spark記憶體計算、MLlib等機器學習情境。

    • Elasticsearch、Kafka等搜尋和日誌資料處理情境。

  • 支援線上更換壞盤,支援熱插拔壞盤,避免導致執行個體停機。

    如果單塊本地碟出現故障,您會收到系統事件,確認響應事件即可發起壞盤修複流程,更多說明請參見本地碟執行個體營運情境和系統事件

    重要

    確認發起壞盤修複流程後,壞盤中的資料不可恢複。

  • 計算

    • 處理器:2.7 GHz主頻的 ® Xeon ® 可擴充處理器(Ice Lake),全核睿頻3.5 GHz,計算效能穩定。

  • 儲存

    • I/O最佳化執行個體。

    • 支援的雲端硬碟類型:ESSD雲端硬碟和ESSD AutoPL雲端硬碟。

  • 網路

    • 支援IPv4、IPv6。關於IPv6通訊,參見IPv6通訊

    • 執行個體網路效能與執行個體規格對應,規格越高網路效能越強。

d3s包括的執行個體規格及指標資料如下表所示:

執行個體規格

vCPU

記憶體(GiB)

本機存放區(GB)

網路基礎頻寬/突發(Gbit/s)

網路收發包PPS(萬)

雲端硬碟頻寬基礎/突發(Gbit/s)

ecs.d3s.2xlarge

8

32

4 * 11918

10/最高15

200

3/最高5

ecs.d3s.4xlarge

16

64

8 * 11918

25/無

300

5/無

ecs.d3s.8xlarge

32

128

16 * 11918

40/無

600

8/無

ecs.d3s.12xlarge

48

192

24 * 11918

60/無

900

12/無

ecs.d3s.16xlarge

64

256

32 * 11918

80/無

1200

16/無

巨量資料計算密集型執行個體規格類型系列d3c

d3c的特點如下:

  • 規格類型系列介紹:執行個體配備大容量、高吞吐本地碟,輔以最大40 Gbit/s執行個體間網路頻寬。

  • 適用情境

    • Hadoop MapReduce、HDFS、Hive、HBase等巨量資料計算和儲存業務情境。

    • EMR JindoFS配合OSS實現巨量資料冷熱資料分層和儲存計算分離的情境。

    • Spark記憶體計算、MLlib等機器學習情境。

    • Elasticsearch、Kafka等搜尋和日誌資料處理情境。

  • 支援線上更換壞盤,支援熱插拔壞盤,避免導致執行個體停機。

    如果單塊本地碟出現故障,您會收到系統事件,確認響應事件即可發起壞盤修複流程,更多說明請參見本地碟執行個體營運情境和系統事件

    重要

    確認發起壞盤修複流程後,壞盤中的資料不可恢複。

  • 計算

    • 處理器:採用第三代Intel ® Xeon ® 可擴充處理器(Ice Lake),主頻2.9 GHz,全核睿頻3.5 GHz,計算效能穩定。

  • 儲存

    • I/O最佳化執行個體。

    • 支援的雲端硬碟類型:ESSD雲端硬碟和ESSD AutoPL雲端硬碟。

  • 網路

    • 支援IPv4、IPv6。關於IPv6通訊,參見IPv6通訊

    • 執行個體網路效能與執行個體規格對應,規格越高網路效能越強。

d3c包括的執行個體規格及指標資料如下表所示:

執行個體規格

vCPU

記憶體(GiB)

本機存放區(GB)

網路頻寬基礎/突發(Gbit/s)

網路收發包PPS(萬)

雲端硬碟IOPS基礎/突發(萬)

雲端硬碟頻寬基礎/突發(Gbit/s)

ecs.d3c.3xlarge

14

56.0

1 * 13743

8/最高10

160

4/無

3/無

ecs.d3c.7xlarge

28

112.0

2 * 13743

16/最高25

250

5/無

4/無

ecs.d3c.14xlarge

56

224.0

4 * 13743

40/無

500

10/無

8/無=

說明

該執行個體規格類型系列僅支援Linux鏡像,建立執行個體時請選擇Linux鏡像,否則會建立失敗。

巨量資料計算密集型執行個體規格類型系列d2c

  • 規格類型系列介紹:執行個體配備大容量、高吞吐SATA HDD本地碟,輔以最大35 Gbit/s執行個體間網路頻寬。

  • 適用情境

    • Hadoop MapReduce、HDFS、Hive、Hbase等巨量資料計算和儲存業務情境。

    • EMR JindoFS配合OOS實現巨量資料冷熱資料分層和儲存計算分離的情境。

    • Spark記憶體計算、MLlib等機器學習情境。

    • Elasticsearch、Kafka等搜尋和日誌資料處理情境。

  • 支援線上更換壞盤,支援熱插拔壞盤,避免導致執行個體停機。

    如果單塊本地碟出現故障,您會收到系統事件,確認響應事件即可發起壞盤修複流程,更多說明請參見本地碟執行個體營運情境和系統事件

    重要

    確認發起壞盤修複流程後,壞盤中的資料不可恢複。

  • 計算

    • 處理器:2.5 GHz主頻的Intel ® Xeon ® Platinum 8269CY(Cascade Lake)。

  • 儲存

    • I/O最佳化執行個體。

    • 支援的雲端硬碟類型:ESSD雲端硬碟、ESSD AutoPL雲端硬碟、SSD雲端硬碟和高效雲端硬碟。

  • 網路

    • 支援IPv4、IPv6。關於IPv6通訊,參見IPv6通訊

    • 執行個體網路效能與執行個體規格對應,規格越高網路效能越強。

d2c包括的執行個體規格及指標資料如下表所示:

執行個體規格

vCPU

記憶體(GiB)

本機存放區(GB)

網路基礎頻寬(Gbit/s)

網路收發包PPS(萬)

ecs.d2c.6xlarge

24

88.0

3 * 3972

12.0

160

ecs.d2c.12xlarge

48

176.0

6 * 3972

20.0

200

ecs.d2c.24xlarge

96

352.0

12 * 3972

35.0

450

巨量資料儲存密集型執行個體規格類型系列d2s

  • 規格類型系列介紹:執行個體配備大容量、高吞吐SATA HDD本地碟,輔以最大35 Gbit/s執行個體間網路頻寬。

  • 適用情境

    • Hadoop MapReduce、HDFS、Hive、Hbase等巨量資料計算和儲存業務情境。

    • Spark記憶體計算、MLlib等機器學習情境。

    • Elasticsearch、Kafka等搜尋和日誌資料處理情境。

  • 支援線上更換壞盤,支援熱插拔壞盤,避免導致執行個體停機。

    如果單塊本地碟出現故障,您會收到系統事件,確認響應事件即可發起壞盤修複流程,更多說明請參見本地碟執行個體營運情境和系統事件

    重要

    確認發起壞盤修複流程後,壞盤中的資料不可恢複。

  • 計算

    • 處理器:2.5 GHz主頻的Intel ® Xeon ® Platinum 8163(Skylake)。

  • 儲存

    • I/O最佳化執行個體。

    • 支援的雲端硬碟類型:ESSD雲端硬碟、ESSD AutoPL雲端硬碟、SSD雲端硬碟和高效雲端硬碟。

  • 網路

    • 支援IPv4、IPv6。關於IPv6通訊,參見IPv6通訊

    • 執行個體網路效能與執行個體規格對應,規格越高網路效能越強。

d2s包括的執行個體規格及指標資料如下表所示:

執行個體規格

vCPU

記憶體(GiB)

本機存放區(GB)

網路基礎頻寬(Gbit/s)

網路收發包PPS(萬)

ecs.d2s.5xlarge

20

88.0

8 * 7838

12.0

160

ecs.d2s.10xlarge

40

176.0

15 * 7838

20.0

200

ecs.d2s.20xlarge

80

352.0

30 * 7838

35.0

450

巨量資料網路增強型執行個體規格類型系列d1ne

  • 規格類型系列介紹:執行個體配備大容量、高吞吐SATA HDD本地碟,輔以最大35 Gbit/s執行個體間網路頻寬。

  • 適用情境

    • Hadoop MapReduce、HDFS、Hive、HBase等。

    • Spark記憶體計算、MLlib等。

    • Elasticsearch、日誌等。

  • 計算

    • 處理器與記憶體配比為1:4,為巨量資料情境設計。

    • 處理器:2.5 GHz主頻的Intel ® Xeon ® E5-2682 v4(Broadwell)。

  • 儲存

    • I/O最佳化執行個體。

    • 支援的雲端硬碟類型:SSD雲端硬碟和高效雲端硬碟。

  • 網路

    • 支援IPv4、IPv6。關於IPv6通訊,參見IPv6通訊

    • 執行個體網路效能與執行個體規格對應,規格越高網路效能越強。

d1ne包括的執行個體規格及指標資料如下表所示:

執行個體規格

vCPU

記憶體(GiB)

本機存放區(GB)

網路基礎頻寬(Gbit/s)

網路收發包PPS(萬)

ecs.d1ne.2xlarge

8

32.0

4 * 5905

6.0

100

ecs.d1ne.4xlarge

16

64.0

8 * 5905

12.0

160

ecs.d1ne.6xlarge

24

96.0

12 * 5905

16.0

200

ecs.d1ne-c8d3.8xlarge

32

128.0

12 * 5905

20.0

200

ecs.d1ne.8xlarge

32

128.0

16 * 5905

20.0

250

ecs.d1ne-c14d3.14xlarge

56

160.0

12 * 5905

35.0

450

ecs.d1ne.14xlarge

56

224.0

28 * 5905

35.0

450

巨量資料型執行個體規格類型系列d1

  • 規格類型系列介紹:執行個體配備大容量、高吞吐SATA HDD本地碟,輔以最大17 Gbit/s執行個體間網路頻寬。

  • 適用情境

    • Hadoop MapReduce、HDFS、Hive、HBase等。

    • Spark記憶體計算、MLlib等。

    • 互連網行業、金融行業等有巨量資料計算與儲存分析需求的行業客戶,進行海量資料存放區和計算的業務情境。

    • Elasticsearch、日誌等。

  • 計算

    • 處理器與記憶體配比為1:4,為巨量資料情境設計。

    • 處理器:2.5 GHz主頻的Intel ® Xeon ® E5-2682 v4(Broadwell)。

  • 儲存

    • I/O最佳化執行個體。

    • 支援的雲端硬碟類型:SSD雲端硬碟和高效雲端硬碟。

  • 網路

    • 僅支援IPv4。

    • 執行個體網路效能與執行個體規格對應,規格越高網路效能越強。

d1包括的執行個體規格及指標資料如下表所示:

執行個體規格

vCPU

記憶體(GiB)

本機存放區(GB)

網路基礎頻寬(Gbit/s)

網路收發包PPS(萬)

ecs.d1.2xlarge

8

32.0

4 * 5905

3.0

30

ecs.d1.3xlarge

12

48.0

6 * 5905

4.0

40

ecs.d1.4xlarge

16

64.0

8 * 5905

6.0

60

ecs.d1.6xlarge

24

96.0

12 * 5905

8.0

80

ecs.d1-c8d3.8xlarge

32

128.0

12 * 5905

10.0

100

ecs.d1.8xlarge

32

128.0

16 * 5905

10.0

100

ecs.d1-c14d3.14xlarge

56

160.0

12 * 5905

17.0

180

ecs.d1.14xlarge

56

224.0

28 * 5905

17.0

180