すべてのプロダクト
Search

このプロダクト

    E-MapReduce:YARN キューの設定

    ドキュメントセンター

    E-MapReduce:YARN キューの設定

    最終更新日:Jan 11, 2025

    Hue で SQL ステートメントを送信してインタラクティブクエリを実行すると、Hue は計算リソースのアプリケーションを YARN に送信します。 さまざまな Hive SQL または Spark SQL ジョブの計算リソースを管理および分離するには、YARN キューを設定する必要があります。 このトピックでは、YARN キューの設定方法について説明します。

    前提条件

    E-MapReduce（EMR）Hadoop クラスタが作成されていること。 詳細については、「クラスタの作成」をご参照ください。

    手順

    1. クラスタの [クラスタ概要] ページに移動します。

      2. 上部のナビゲーションバーで、クラスタが存在するリージョンを選択し、ビジネス要件に基づいてリソースグループを選択します。
      3. [クラスタ管理] タブをクリックします。
      4. [クラスタ管理] ページで、クラスタを見つけて、[アクション] 列の [詳細] をクリックします。
    2. キュー設定を変更するか、カスタム項目を追加します。
      説明 既存のキューパラメータを変更する場合は、[設定] タブでパラメータを検索して値を変更できます。
      • Hive SQL の場合は、エンジンの種類に基づいて HiveServer2 でキューパラメータを設定します。
        1. 左側のナビゲーションペインで、[クラスタサービス] > [hive] を選択します。
        2. Hive サービスページで、[設定] タブをクリックします。
        3. [サービス設定] セクションで、[hiveserver2-site] タブをクリックします。
        4. [hiveserver2-site] タブで、右上隅にある [カスタム設定] をクリックします。 [設定項目の追加] ダイアログボックスで、カスタムパラメータを追加します。 Hive on TezHive on Spark
          エンジンパラメータ説明
          Hive on MRmapreduce.job.queuenameキューの名前。 キュー名はカスタマイズできます。

          この例では、パラメータの値は QUEUENAME です。

          tez.queue.name
          spark.yarn.queue
        5. パラメータを追加した後、[OK] をクリックします。
        6. 設定を保存します。
          1. [サービス設定] セクションの右上隅にある [保存] をクリックします。
          2. [変更の確認] ダイアログボックスで、[説明] を指定し、[OK] をクリックします。
      • Spark SQL の場合、Spark Thrift Server は SQL クエリを実行するために使用されます。 Spark Thrift Server でキューパラメータを設定するには、次の手順を実行します。
        1. 左側のナビゲーションペインで、[クラスタサービス] > [spark] を選択します。
        2. [設定] タブをクリックします。
        3. [サービス設定] セクションで、[spark-thriftserver] タブをクリックします。
        4. [spark-thriftserver] タブで、右上隅にある [カスタム設定] をクリックします。
        5. [設定項目の追加] ダイアログボックスで、spark.yarn.queue パラメータを追加し、QUEUENAME に設定して、[OK] をクリックします。
        6. 設定を保存します。
          1. [サービス設定] セクションの右上隅にある [保存] をクリックします。
          2. [変更の確認] ダイアログボックスで、[説明] を指定し、[OK] をクリックします。
    3. 関連コンポーネントを再起動します。
      • Hive の HiveServer2 コンポーネントを再起動します。
        1. 左側のナビゲーションペインで、[クラスタサービス] > [hive] を選択します。
        2. [コンポーネント開発] タブをクリックします。 [hiveserver2] コンポーネントを見つけて、[アクション] 列の [再起動] をクリックします。
        3. [クラスタアクティビティ] ダイアログボックスで、[説明] を指定し、[OK] をクリックします。
        4. [確認] メッセージで、[OK] をクリックします。
      • Spark の ThriftServer コンポーネントを再起動します。
        1. 左側のナビゲーションペインで、[クラスタサービス] > [spark] を選択します。
        2. [コンポーネント開発] タブをクリックします。 [thriftserver] コンポーネントを見つけて、[アクション] 列の [再起動] をクリックします。
        3. [クラスタアクティビティ] ダイアログボックスで、[説明] を指定し、[OK] をクリックします。
        4. [確認] メッセージで、[OK] をクリックします。