E-MapReduce:クラスタの作成

パラメータ

説明

リージョン

クラスタの Elastic Compute Service (ECS) インスタンスが配置されている地理的な場所。ネットワーク遅延を最小限に抑えるために、地理的な場所に近接したリージョンを選択してください。クラスタの作成後、リージョンを変更することはできません。

ドロップダウンリストからリージョンを選択します。

ビジネスシナリオ

ビジネス要件に基づいてビジネスシナリオを選択します。有効な値：

• データレイク：柔軟性、信頼性、効率性に優れたデータ分析を可能にするビッグデータコンピューティングエンジンを提供します。

  • データレイクアーキテクチャをサポートし、JindoFS に基づいてデータレイクでのデータクエリを高速化します。

  • ストレージ用に OSS-HDFS (フルマネージド HDFS) サービスをサポートしており、O&M コストの削減に役立ちます。 OSS-HDFS サービスの実際の使用量に基づいて課金されます。

  詳細については、「DataLake クラスタ」をご参照ください。

• データ分析：ユーザープロファイリング、受信者選択、BI レポート、ビジネス分析など、さまざまなビジネスシナリオの要件を満たす、効率的でリアルタイムの柔軟なデータ分析機能を提供します。データをインポートするか、外部テーブルを使用して、ClickHouse や StarRocks などのオンライン分析処理 (OLAP) エンジンにデータを書き込んで分析できます。

• リアルタイムデータストリーミング：エンドツーエンド (E2E) のリアルタイムコンピューティングソリューションを提供します。Dataflow クラスタには、高スループットとスケーラビリティを備えた分散メッセージシステムである Kafka と、Apache Flink を搭載した Ververica が提供する商用 Flink カーネルが組み込まれています。これらのクラスタは、さまざまな E2E リアルタイムコンピューティングの問題を解決するために使用され、リアルタイムデータの抽出、変換、書き出し (ETL)、およびログの収集と分析のシナリオで広く使用されています。2 つのコンポーネントのいずれか、または両方を使用できます。

• データサービス：

  • 柔軟性、信頼性、効率性に優れたデータ分析を可能にする DataServing クラスタを提供します。

  • セミマネージド HBase クラスタを提供し、OSS-HDFS (JindoFS) サービスに基づいてコンピューティングクラスタとデータストレージを切り離すことができます。

  • JindoData を使用したデータキャッシングをサポートしており、DataServing クラスタの読み取り/書き込みパフォーマンスを向上させます。

  詳細については、「DataServing クラスタ」をご参照ください。

• カスタムクラスタ：さまざまなサービスを提供します。ビジネス要件に基づいてサービスを選択できます。

  説明

  本番環境では、同じノードグループに複数のストレージサービスをデプロイしないことをお勧めします。

製品バージョン

EMR のバージョン。詳細については、「リリースバージョン」をご参照ください。

高サービス可用性

デフォルトでは、このスイッチはオフになっています。このスイッチをオンにすると、ResourceManager プロセスと NameNode プロセスの高可用性を確保するために、クラスタ内に複数のマスターノードが作成されます。さらに、EMR は、障害のリスクを軽減するために、マスターノードをさまざまな基盤となるハードウェアデバイスに分散させます。

オプションサービス (少なくとも 1 つ選択)

クラスタ用に選択できるサービス。ビジネス要件に基づいてサービスを選択できます。選択したサービスに関連するプロセスは自動的に開始されます。

サービス運用ログの収集

すべてのサービスのログ収集を有効にするかどうかを指定します。デフォルトでは、このスイッチはオンになっており、クラスタのサービス運用ログを収集します。ログはクラスタの診断にのみ使用されます。

クラスタを作成した後、[基本情報] タブで [サービス運用ログの収集ステータス] パラメータを変更できます。

メタデータ

メタデータを保存および管理する方法。有効な値：

• DLF 統合メタデータ：メタデータは Data Lake Formation (DLF) に保存されます。この方法を選択することをお勧めします。

  DLF をアクティブ化すると、システムはメタデータを保存するために [DLF カタログ] を選択します。デフォルトでは、アカウントの ID が使用されます。異なるクラスタを異なる DLF カタログに関連付ける場合は、次の操作を実行して DLF カタログを作成できます。

  1. [カタログの作成] をクリックします。表示されるポップオーバーで、カタログ ID を入力し、[OK] をクリックします。

  2. [DLF カタログ] ドロップダウンリストから、作成したカタログを選択します。

• セルフマネージド RDS：メタデータは、セルフマネージドまたは Alibaba Cloud ApsaraDB RDS データベースに保存されます。

  [セルフマネージド RDS] を選択した場合は、既存の ApsaraDB RDS データベースのパラメータを構成する必要があります。詳細については、「セルフマネージド ApsaraDB RDS for MySQL データベースを構成する」をご参照ください。

• 組み込み Mysql：メタデータは、クラスタのローカル MySQL データベースに保存されます。この方法は推奨されません。

  説明

  • テスト環境：[組み込み Mysql] を選択することをお勧めします。

  • 本番環境：[DLF 統合メタデータ] または [セルフマネージド RDS] を選択することをお勧めします。

クラスタのルートストレージディレクトリ

クラスタデータのルートストレージディレクトリ。このパラメータは、OSS-HDFS サービスを選択した場合にのみ必須です。

OSS-HDFS を初めて使用する場合は、プロンプトに従って 権限付与を完了 する必要があります。RAM ユーザーを使用する場合は、AliyunEMRDlsFullAccess ポリシーをアタッチし、Alibaba Cloud アカウントを使用して AliyunOSSDlsDefaultRole ロールと AliyunEMRDlsDefaultRole ロールを RAM ユーザーに割り当てる必要があります。詳細については、「RAM ユーザーに権限を付与する」をご参照ください。同じリージョンで OSS-HDFS が有効になっているバケットを選択するか、[OSS-HDFS バケットの作成] をクリックして、クラスタのルートストレージパスとして OSS-HDFS バケットを作成します。

パラメータ

説明

課金方法

クラスタの課金方法。デフォルトでは、サブスクリプションが選択されています。EMR は、次の課金方法をサポートしています。

• 従量課金：インスタンスを使用した後にインスタンスの料金を支払うことができる課金方法。システムは、クラスタが実際に使用された時間に基づいてクラスタの料金を請求します。請求書は、毎時間の上部に 1 時間ごとに生成されます。短期間のテストジョブまたは動的にスケジュールされたジョブには、従量課金クラスタを使用することをお勧めします。

• サブスクリプション：インスタンスの料金を支払った後にのみインスタンスを使用できる課金方法。

  説明

  • テスト実行には、[従量課金] クラスタを作成することをお勧めします。クラスタがテストに合格した場合は、本番用に [サブスクリプション] クラスタを作成できます。

  • [課金方法] で [サブスクリプション] を選択した場合は、[サブスクリプション期間] パラメータと [自動更新] パラメータも構成する必要があります。デフォルトでは、サブスクリプション期間は 6 か月で、[自動更新] スイッチはオンになっています。[自動更新] をオンにすると、システムは有効期限の 7 日前にサブスクリプションをさらに 1 か月更新します。詳細については、「更新ポリシー」をご参照ください。

ゾーン

クラスタを作成するゾーン。リージョン内のゾーンは、独立した電源とネットワーク設備を備えた物理的なエリアです。同じリージョン内のゾーンにあるクラスタは、内部ネットワークを介して相互に通信できます。ほとんどの場合、デフォルトで選択されているゾーンを使用できます。

VPC

クラスタをデプロイする Virtual Private Cloud (VPC)。VPC は、完全に制御できる論理的に分離されたネットワークです。

既存の VPC を選択するか、[VPC の作成] をクリックして、VPC コンソールで VPC を作成できます。詳細については、「VPC を作成および管理する」をご参照ください。

vSwitch

クラスタの vSwitch。vSwitch は VPC の基本コンポーネントです。vSwitch を使用すると、クラウドリソース間のネットワーク通信を確立できます。

既存の vSwitch を選択するか、[vswitch の作成] をクリックして、VPC コンソールで vSwitch を作成できます。詳細については、「vSwitch を作成および管理する」をご参照ください。

デフォルトセキュリティグループ

クラスタのセキュリティグループ。セキュリティグループは、セキュリティグループ内のインスタンスのインバウンドトラフィックとアウトバウンドトラフィックを制御するために使用される仮想ファイアウォールです。詳細については、「概要」をご参照ください。

既存のセキュリティグループを選択するか、[新しいセキュリティグループの作成] をクリックして、ECS コンソールでセキュリティグループを作成できます。詳細については、「セキュリティグループの作成」をご参照ください。

ノードグループ

クラスタのノードグループ。ビジネス要件に基づいてインスタンスタイプを選択できます。詳細については、「インスタンスファミリ」をご参照ください。

• マスターノードグループ：ResourceManager や NameNode などの制御プロセスを実行します。

• コアノードグループ：クラスタのすべてのデータを保存します。クラスタの作成後に、ビジネス要件に基づいてコアノードを追加できます。

• タスクノードグループ：データは保存されず、クラスタのコンピューティング能力を調整するために使用されます。デフォルトでは、タスクノードグループは構成されていません。ビジネス要件に基づいてタスクノードグループを構成できます。

  重要

  タスクノードグループの [課金方法] パラメータには、[従量課金]、[プリエンプティブルインスタンス]、または [サブスクリプション] を選択できます。

• デプロイメントセットに追加：[高サービス可用性] スイッチをオンにすると、マスターノードはデフォルトでデプロイメントセットに追加されます。デプロイメントセットは、ECS インスタンスの分散を制御するために使用されます。詳細については、「デプロイメントセット」をご参照ください。

• システムディスク：ビジネス要件に基づいて、標準 SSD、拡張 SSD、または Ultra ディスクを選択できます。ビジネス要件に基づいてシステムディスクのサイズを調整できます。

• データディスク：ビジネス要件に基づいて、標準 SSD、拡張 SSD、または Ultra ディスクを選択できます。ビジネス要件に基づいてデータディスクのサイズを調整できます。

  説明

  拡張 SSD を選択した場合、ディスク容量に基づいて拡張 SSD に異なるパフォーマンスレベル (PL) を指定し、さまざまなクラスタのパフォーマンス要件に対応できます。デフォルトのパフォーマンスレベルは PL1 です。システムディスクを構成する場合は、PL0、PL1、および PL2 のパフォーマンスレベルの拡張 SSD を選択できます。データディスクを構成する場合は、PL0、PL1、PL2、および PL3 のパフォーマンスレベルの拡張 SSD を選択できます。詳細については、「ディスク」をご参照ください。

• インスタンス：デフォルトでは、1 つのマスターノードが構成されています。[高サービス可用性] スイッチをオンにすると、複数のマスターノードを構成できます。

  デフォルトでは、コアノードグループに 2 つのコアノードが構成されています。ビジネス要件に基づいてコアノードの数を変更できます。

• 追加セキュリティグループ：追加セキュリティグループを使用すると、さまざまな外部リソースとアプリケーション間のインタラクションが可能になります。ノードグループには最大 2 つの追加セキュリティグループを関連付けることができます。

• パブリックネットワーク IP の割り当て：クラスタに EIP アドレスを関連付けるかどうかを指定します。このスイッチはデフォルトではオフになっています。パブリック IP アドレスは、DataLake クラスタのノードグループにのみ割り当てることができます。

  説明

  このスイッチをオンにしないが、クラスタの作成後にインターネット経由でクラスタにアクセスする場合は、ECS でパブリック IP アドレスを申請する必要があります。EIP アドレスの申請方法については、「Elastic IP アドレス」をご参照ください。

クラスタスケーリング

自動スケーリングルールを使用するかどうかを指定します。有効な値：

• 自動スケーリングルールを使用しない。これはデフォルト値です。

• カスタム自動スケーリングルール：時間ベースまたは負荷ベースの自動スケーリングを実装するために、クラスタのカスタム自動スケーリングルールを構成できます。

• マネージド自動スケーリングルール：クラスタを起動した後、EMR は構成されたマネージド自動スケーリングルールに基づいてクラスタ内のタスクノードの数を動的に調整します。

パラメータ

説明

クラスタ名

クラスタの名前。名前は 1 ～ 64 文字の長さで、文字、数字、ハイフン (-)、およびアンダースコア (_) のみを含めることができます。

身分証明書

クラスタのマスターノードにログインするために使用される 証明書。詳細については、「クラスタにログインする」をご参照ください。有効な値：

• キーペア (デフォルト)：既存のキーペアを選択するか、[キーペアの作成] をクリックしてキーペアを作成します。

  キーペアは、ECS インスタンスのログイン用に提供される安全で便利な認証方法です。Linux インスタンスのみがキーペアベースの認証をサポートしています。キーペアの使用方法については、「SSH キーペアの概要」をご参照ください。

• パスワード：マスターノードのパスワードを構成し、パスワードを確認します。デフォルトでは、ユーザー名は root です。

  • パスワードは 8 ～ 30 文字の長さで、大文字、小文字、数字、および特殊文字を含める必要があります。

  • 次の特殊文字がサポートされています。! @ # $ % ^ & *