デフォルトでは、AnalyticDB for MySQL Data Lakehouse Edition (V3.0) はバッチモードでSpark SQLジョブを実行します。 ジョブリソースグループを使用して対話型ジョブを実行する場合は、Thriftサーバーを起動する必要があります。 Thriftサーバーを起動した後、同じリソースグループで複数の対話型ジョブを実行して、クエリの効率を向上させることができます。 このトピックでは、AnalyticDB for MySQL Data Lakehouse Edition (V3.0) でジョブリソースグループのThriftサーバーを起動および停止する方法について説明します。
使用上の注意
ジョブリソースグループごとに1台のThriftサーバーのみを起動できます。
Thriftサーバーが開始されたジョブリソースグループを使用する場合、Spark SQLジョブは対話モードで実行されます。
Thriftサーバーを停止すると、SQLクエリの実行とキューのすべてが中断されます。 Thriftサーバーを停止する前に、SQLクエリが実行されてキューに入れられていないこと、またはビジネスがそのような中断の影響を受けていないことを確認してください。
Thriftサーバーを起動する
AnalyticDB for MySQLコンソールにログインします。 ホームページの左上でリージョンを選択します。 左側のナビゲーションウィンドウで、クラスターリスト をクリックします。 Lake Warehouse Edition(3.0) タブで、管理するクラスターを見つけ、クラスターIDをクリックします。
左側のナビゲーションウィンドウで、クラスター管理 > リソース管理 を選択します。 表示されるページで、リソースグループ管理 タブをクリックします。
[リソースグループ] タブで、管理するジョブリソースグループを見つけ、[操作] 列の ThriftServer の設定 をクリックします。
ThriftServer の設定 パネルで、次の表に示すパラメーターを設定します。
パラメーター
必須
説明
対応する設定パラメータ
Min Executor の数
可
elastic Spark設定に許可されるエグゼキューターの最小数。 デフォルト値は0で、Spark SQLクエリが実行されない場合、すべてのエグゼキューターがリリースされることを指定します。
各エグゼキュータは2つのAnalyticDB計算ユニット (ACU) を消費します。
spark.dynamicAllocation.minExecutors
Max Executor の数
可
elastic Spark設定で許可されるエグゼキューターの最大数。 Spark SQLクエリが実行されるときに許可される最大エグゼキューターを指定します。 最小値は 1 です。
各エグゼキュータは2つのACUを消費する。 このパラメーターに大きな値を指定して、このジョブリソースグループの計算リソースが不足している場合、エラーが発生することがあります。 たとえば、ジョブリソースグループの最大コンピューティングリソースが16 ACUの場合、エグゼキュータの最大数を8に設定できます。
spark.dynamicAllocation.maxExecutors
JARS
任意
実行環境に必要なサードパーティのJARパッケージのObject Storage Service (OSS) URL。
SQL実行にJARパッケージが必要な場合は、まずJARパッケージをOSSバケットにアップロードする必要があります。 オブジェクトのアップロード方法については、「オブジェクトのアップロード」をご参照ください。
spark.jars
最大接続数
任意
Sparkのメンテナンスに許可されるセッションの最大数。 各セッションは、独立したスレッドに対応する。 このパラメーターの値が大きいと、メモリ不足 (OOM) エラーが発生する可能性があります。
spark.sql.retainedSessions
その他の設定
任意
その他のSpark設定。 詳細については、「Sparkアプリケーション設定パラメーター」および「Spark設定」をご参照ください。
なし
[開始] をクリックします。
Thriftサーバーを停止する
ThriftサーバーがバッチモードでSpark SQLジョブの実行を開始したジョブリソースグループを使用する場合は、最初にThriftサーバーを停止する必要があります。
AnalyticDB for MySQLコンソールにログインします。 ホームページの左上でリージョンを選択します。 左側のナビゲーションウィンドウで、クラスターリスト をクリックします。 Lake Warehouse Edition(3.0) タブで、管理するクラスターを見つけ、クラスターIDをクリックします。
左側のナビゲーションウィンドウで、クラスター管理 > リソース管理 を選択します。 表示されるページで、リソースグループ管理 タブをクリックします。
[リソースグループ] タブで、管理するジョブリソースグループを見つけ、[操作] 列の ThriftServer の設定 をクリックします。
ThriftServer の設定 パネルで、停止 をクリックします。