Elastic Compute Service:ビッグデータインスタンスタイプ

ビッグデータインスタンスには、次の利点があります。

• エンタープライズレベルのコンピューティングパワーによる、効率的かつ安定したデータ処理。

• インスタンスあたりの最大内部帯域幅が高くなり、最大パケット転送速度が高くなり、ピーク時のHadoop MapReduceでのシャッフルなどのデータ転送要求を満たすことで、ネットワークパフォーマンスが向上します。

ビッグデータインスタンスを作成する際の注意事項は以下のとおりです。

• ローカルSSDを備えたインスタンスは、インスタンス構成の変更をサポートしていません。

• ローカルディスクは、特定のインスタンスタイプにのみ関連付けることができます。 インスタンスにアタッチされているローカルディスクの数と容量は、インスタンスタイプによって異なります。 ローカルディスクを個別に購入したり、インスタンスからローカルディスクをデタッチして他のインスタンスに接続することはできません。

• ローカルディスクのスナップショットは作成できません。 ローカルSSDを搭載したインスタンスのシステムディスクとデータディスクからイメージを作成する場合は、システムディスクとデータディスクの両方のスナップショットを組み合わせてイメージを作成することをお勧めします。 この場合、データディスクはクラウドディスクでなければなりません。

• ローカルSSDを搭載したインスタンスに基づいて、システムディスクスナップショットとデータディスクスナップショットで構成されるイメージを作成することはできません。

• ローカルSSDを搭載したインスタンスに標準SSDをアタッチし、標準SSDの容量を拡張できます。

• ローカルSSDを備えたインスタンスでの操作は、ローカルSSDに格納されているデータに影響を与える可能性があります。 詳細については、「ローカルディスク」トピックの「ローカルディスクに格納されたデータに対するインスタンス操作の影響」セクションをご参照ください。

ext4などのファイルシステムを初めてマウントするときは、inodeテーブルを初期化する必要があります。 デフォルトでは、Linuxカーネルv2.6.37以降でlazyinit機能が有効になっているため、ファイルシステムがマウントされるまでinodeテーブルは初期化されません。 さらに、ローカルディスクは、初期化時に、ローカルディスクに対して600メガバイト/秒など、大量のスループットを消費する。 これは、サービスの安定性に影響する。 この問題を解決するために、Linuxカーネルv4.xの遅延初期化のオブジェクトの同時数を増やしました。 詳細については、「index: kernel/git/stable/linux.git」をご参照ください。 できるだけ早い機会にinodeテーブルを初期化するには、次のベストプラクティスを使用することをお勧めします。

1. すべてのローカルシリアル高度技術アタッチメント (SATA) HDDのリストを取得します。

2. 以下のコマンドを実行して、各ローカルディスクを個別に初期化します。

   この例では、デバイス名が /dev/vdbのローカルディスク上にext4ファイルシステムが作成されます。

   mkfs.ext4 -E lazy_itable_init=0,lazy_journal_init=0 /dev/vdb &

3. すべてのローカルディスクを初期化後、すべてのローカルディスクの I/O 動作が 0 と表示されるまで iostat -x 5 コマンドを実行します。

4. mountコマンドを一括実行します。

特徴:

• このインスタンスファミリーには、12 TB、大容量、高スループットのローカルSATA HDDが搭載されており、インスタンス間で最大64 Gbit/sのネットワーク帯域幅を提供できます。

• サポートされるシナリオ:

  • Hadoop MapReduce、HDFS、Hive、HBaseなどのサービスが使用されるビッグデータコンピューティングとストレージのビジネスシナリオ

  • Spark インメモリコンピューティングや MLlib などの機械学習シナリオ

  • ElasticsearchやKafkaなどのソリューションが使用されている検索およびログデータ処理シナリオ

• このインスタンスファミリーは、インスタンスのシャットダウンを防ぐために、破損したディスクのオンライン交換とホットスワップをサポートします。

  ローカルディスクに障害が発生すると、システムイベントが発生します。 破損したディスクを修復するプロセスを開始することで、システムイベントを処理できます。 詳細については、「ローカルディスクを搭載したインスタンスのO&Mシナリオとシステムイベント」をご参照ください。

  重要

  破損したディスクの修復プロセスを開始すると、破損したディスクに保存されているデータは復元できません。

• コンピューティング

  • 2.7 GHzインテル^を使用®Xeon ^®スケーラブル (Ice Lake) プロセッサは、3.5 GHzのオールコアターボ周波数を提供し、一貫したコンピューティングパフォーマンスを提供します。

• ストレージ

  • I/O 最適化インスタンス。

  • ESSDおよびESSD AutoPLディスクのみをサポートします。

• ネットワーク

  • IPv4およびIPv6をサポート。

  • 大規模コンピューティング能力で、高いネットワークパフォーマンスを提供します。

インスタンスタイプ

特徴:

• このインスタンスファミリーには、大容量および高スループットのローカルディスクが搭載されており、インスタンス間で最大40 Gbit/sの帯域幅を提供できます。

• サポートされるシナリオ:

  • Hadoop MapReduce、HDFS、Hive、HBaseなどのサービスが使用されるビッグデータコンピューティングとストレージのビジネスシナリオ

  • EMR JindoFSとObject Storage Service (OSS) を組み合わせて使用して、ホットデータとコールドデータを別々に保存し、ストレージをコンピューティングから分離するシナリオ

  • Spark インメモリコンピューティングや MLlib などの機械学習シナリオ

  • ElasticsearchやKafkaなどのソリューションが使用されている検索およびログデータ処理シナリオ

• このインスタンスファミリーは、インスタンスのシャットダウンを防ぐために、破損したディスクのオンライン交換とホットスワップをサポートします。

  ローカルディスクに障害が発生すると、システムイベントが発生します。 破損したディスクを修復するプロセスを開始することで、システムイベントを処理できます。 詳細については、「ローカルディスクを搭載したインスタンスのO&Mシナリオとシステムイベント」をご参照ください。

  重要

  破損したディスクの修復プロセスを開始すると、破損したディスクに保存されているデータは復元できません。

• コンピューティング

  • 第3世代2.9 GHzインテル^を使用®Xeon ^®スケーラブル (Ice Lake) プロセッサは、3.5 GHzのオールコアターボ周波数を提供し、一貫したコンピューティングパフォーマンスを提供します。

• ストレージ

  • I/O 最適化インスタンス。

  • ESSDおよびESSD AutoPLディスクのみをサポートします。

• ネットワーク

  • IPv4およびIPv6をサポート。

  • 大規模コンピューティング能力で、高いネットワークパフォーマンスを提供します。

インスタンスタイプ

特徴:

• このインスタンスファミリーには、大容量で高スループットのローカルSATA HDDが搭載されており、インスタンス間で最大35 Gbit/sの帯域幅を提供できます。

• サポートされるシナリオ:

  • Hadoop MapReduce、HDFS、Hive、HBaseなどのサービスが使用されるビッグデータコンピューティングとストレージのビジネスシナリオ

  • EMR JindoFSとOSSを組み合わせて使用して、ホットデータとコールドデータを別々に保存し、ストレージをコンピューティングから分離するシナリオ

  • Spark インメモリコンピューティングや MLlib などの機械学習シナリオ

  • ElasticsearchやKafkaなどのソリューションが使用されている検索およびログデータ処理シナリオ

• このインスタンスファミリーは、インスタンスのシャットダウンを防ぐために、破損したディスクのオンライン交換とホットスワップをサポートします。

  ローカルディスクに障害が発生すると、システムイベントが発生します。 破損したディスクを修復するプロセスを開始することで、システムイベントを処理できます。 詳細については、「ローカルディスクを搭載したインスタンスのO&Mシナリオとシステムイベント」をご参照ください。

  重要

  破損したディスクの修復プロセスを開始すると、破損したディスクに保存されているデータは復元できません。

• コンピューティング

  • 2.5 GHzインテル^を使用®Xeon ^®プラチナ8269CY (カスケード湖) プロセッサ。

• ストレージ

  • I/O 最適化インスタンス。

  • 拡張SSD (ESSD) 、ESSD AutoPLディスク、標準SSD、およびウルトラディスクをサポートします。

• ネットワーク

  • IPv4およびIPv6をサポート。

  • 大規模コンピューティング能力で、高いネットワークパフォーマンスを提供します。

インスタンスタイプ

特徴:

• このインスタンスファミリーには、大容量で高スループットのローカルSATA HDDが搭載されており、インスタンス間で最大35 Gbit/sの帯域幅を提供できます。

• サポートされるシナリオ:

  • Hadoop MapReduce、HDFS、Hive、HBaseなどのサービスが使用されるビッグデータコンピューティングとストレージのビジネスシナリオ

  • Spark インメモリコンピューティングや MLlib などの機械学習シナリオ

  • ElasticsearchやKafkaなどのソリューションが使用されている検索およびログデータ処理シナリオ

• このインスタンスファミリーは、インスタンスのシャットダウンを防ぐために、破損したディスクのオンライン交換とホットスワップをサポートします。

  ローカルディスクに障害が発生すると、システムイベントが発生します。 破損したディスクを修復するプロセスを開始することで、システムイベントを処理できます。 詳細については、「ローカルディスクを搭載したインスタンスのO&Mシナリオとシステムイベント」をご参照ください。

  重要

  破損したディスクの修復プロセスを開始すると、破損したディスクに保存されているデータは復元できません。

• コンピューティング

  • 2.5 GHzインテル^を使用®Xeon ^®プラチナ8163 (Skylake) プロセッサ。

• ストレージ

  • I/O 最適化インスタンス。

  • ESSD、ESSD AutoPLディスク、標準SSD、およびウルトラディスクをサポートします。

• ネットワーク

  • IPv4およびIPv6をサポート。

  • 大規模コンピューティング能力で、高いネットワークパフォーマンスを提供します。

インスタンスタイプ

特徴:

• このインスタンスファミリーには、大容量で高スループットのローカルSATA HDDが搭載されており、インスタンス間で最大35 Gbit/sの帯域幅を提供できます。

• サポートされるシナリオ:

  • Hadoop MapReduce、HDFS、Hive、HBaseなどのサービスが使用されるシナリオ

  • Spark インメモリコンピューティングや MLlib などの機械学習シナリオ

  • Elasticsearchなどのソリューションが使用される検索およびログデータ処理シナリオ

• コンピューティング

  • CPU 対メモリ比率は、ビッグデータシナリオ向けの 1:4。

  • 2.5 GHzインテル^を使用®Xeon ^®E5-2682 v4 (Broadwell) プロセッサ。

• ストレージ

  • I/O 最適化インスタンス。

  • 標準SSDとウルトラディスクのみをサポートします。

• ネットワーク

  • IPv4およびIPv6をサポート。

  • 大規模コンピューティング能力で、高いネットワークパフォーマンスを提供します。

インスタンスタイプ

特徴:

• このインスタンスファミリーには、大容量で高スループットのローカルSATA HDDが搭載されており、インスタンス間で最大17 Gbit/sの帯域幅を提供できます。

• サポートされるシナリオ:

  • Hadoop MapReduce、HDFS、Hive、HBaseなどのサービスが使用されるシナリオ

  • Spark インメモリコンピューティングや MLlib などの機械学習シナリオ

  • インターネットや金融などの業界の顧客がビッグデータを計算、保存、分析する必要があるシナリオ

  • Elasticsearchなどのソリューションが使用される検索およびログデータ処理シナリオ

• コンピューティング

  • CPU 対メモリ比率は、ビッグデータシナリオ向けの 1:4。

  • 2.5 GHzインテル^を使用®Xeon ^®E5-2682 v4 (Broadwell) プロセッサ。

• ストレージ

  • I/O 最適化インスタンス。

  • 標準 SSD および Ultra ディスクをサポート。

• ネットワーク

  • IPv4をサポート

  • 大規模コンピューティング能力で、高いネットワークパフォーマンスを提供します。

インスタンスタイプ