AnalyticDB:Sparkアプリケーションのパフォーマンス診断

前提条件

• AnalyticDB for MySQL Data Lakehouse Edition (V3.0) クラスターが作成されます。 詳細については、「クラスターの作成」をご参照ください。

• 予約済みコンピューティングリソースの少なくとも8つのAnalyticDBコンピューティングユニット (ACU) を持つジョブリソースグループが作成されます。 詳細については、「リソースグループの作成」をご参照ください。

• Resource Access Management (RAM) ユーザーにAliyunADBDeveloperAccess権限が付与されます。 詳細については、「RAMユーザーと権限の管理」をご参照ください。

• AnalyticDB for MySQL Data Lakehouse Edition (V3.0) クラスター用にデータベースアカウントが作成されます。

  • Alibaba Cloudアカウントを使用する場合は、特権アカウントを作成する必要があります。 詳細については、「データベースアカウントの作成」トピックの「特権アカウントの作成」セクションをご参照ください。

  • RAM (Resource Access Management) ユーザーを使用する場合は、特権アカウントと標準アカウントの両方を作成し、標準アカウントをRAMユーザーに関連付ける必要があります。 詳細については、「データベースアカウントの作成」および「データベースアカウントの関連付けまたは関連付けの解除」をご参照ください。

• AnalyticDB for MySQLは、AliyunADBSparkProcessingDataRoleロールを引き受けて他のクラウドリソースにアクセスする権限があります。 詳細については、「権限付与の実行」をご参照ください。

シナリオ

Sparkアプリケーションのパフォーマンス診断機能は、次のシナリオに適しています。

• データセットのパフォーマンス分析: Sparkを使用して大量のデータを処理する場合、データセットのパフォーマンスを分析します。 この機能は、メモリのスパイクや流出などのパフォーマンスのボトルネックをすばやく特定し、データ処理の効率を向上させるのに役立ちます。

• 多数のアプリケーションでの負荷分散: 高同時負荷は、データスキュー、ロングテール、負荷の不均衡など、Sparkアプリケーションのパフォーマンスの問題を引き起こす可能性があります。 この機能は、問題をすばやく特定し、Sparkアプリケーションを最適化するのに役立ちます。

制限

• 診断できるのは、過去14日間に正常に実行されたSparkアプリケーションのみです。

• バッチとストリーミングアプリケーションのみを診断できます。

手順

1. AnalyticDB for MySQLコンソールにログインします。 ホームページの左上でリージョンを選択します。 左側のナビゲーションウィンドウで、クラスターリスト をクリックします。 Lake Warehouse Edition(3.0) タブで、管理するクラスターを見つけ、クラスターIDをクリックします。

2. 左側のナビゲーションウィンドウで、 [ジョブ開発] > [Spark JAR開発] を選択します。

3. [アプリケーション] セクションで、診断するアプリケーションを見つけ、[操作] 列の [詳細]> [履歴] を選択します。

4. [実行履歴] セクションで、診断するジョブを見つけ、[操作] 列の [診断] をクリックします。

   説明

   診断操作が完了すると、[診断最適化の詳細] パネルが表示されます。 Sparkアプリケーションにパフォーマンスの問題がある場合は、診断情報に基づいてSparkアプリケーションを最適化できます。