すべてのプロダクト
Search

このプロダクト

    AnalyticDB:Sparkエディター

    ドキュメントセンター

    AnalyticDB:Sparkエディター

    最終更新日:Jun 07, 2024

    このトピックでは、AnalyticDB for MySQLコンソールでSparkアプリケーションを作成および実行する方法について説明します。

    概要

    • Sparkエディターを使用して、Sparkバッチまたはストリーミングアプリケーションを作成および実行できます。

    • 現在のSparkアプリケーションのドライバーログと送信の詳細を表示できます。

    • SQL文の実行ログを表示できます。

    前提条件

    • AnalyticDB for MySQL Data Lakehouse Edition (V3.0) クラスターが作成されます。 詳細については、「クラスターの作成」をご参照ください。

    • 予約済みコンピューティングリソースの少なくとも8つのAnalyticDBコンピューティングユニット (ACU) を持つジョブリソースグループが作成されます。 詳細については、「リソースグループの作成」をご参照ください。

    • RAM (Resource Access Management) ユーザーに必要な権限が付与されます。 詳細については、「RAMユーザーと権限の管理」トピックの「RAMユーザーへの権限の付与」セクションをご参照ください。

    • AnalyticDB for MySQLクラスターのデータベースアカウントは、RAMユーザーに関連付けられています。 詳細については、「RAMユーザーとのデータベースアカウントの関連付けまたは関連付けの解除」をご参照ください。

    • AliyunADBSparkProcessingDataRoleロールが作成され、AnalyticDB for MySQLは他のクラウドリソースへのアクセスが許可されています。 詳細については、「権限付与の実行」をご参照ください。

    Sparkアプリケーションの作成と実行

    1. AnalyticDB for MySQLコンソールにログインします。
    2. ページの左上隅で、リージョンを選択します。
    3. 左側のナビゲーションウィンドウで、クラスターリスト をクリックします。
    4. Lake Warehouse Edition(3.0) タブで、管理するクラスターを見つけ、クラスター ID をクリックします。

    5. 左側のナビゲーションウィンドウで、ジョブ开発 > スパークJAR開発.

    6. On theスパークJAR開発ページをクリックし、1の右にアイコンアプリケーション.

    7. では、アプリケーションテンプレートの作成ダイアログボックスで、次の表で説明するパラメーターを設定します。

      パラメーター

      説明

      名前

      アプリケーションまたはディレクトリの名前。 ファイル名は大文字と小文字を区別しません。

      データ型

      • [タイプ] ドロップダウンリストから [アプリケーション] を選択した場合、テンプレートはファイル形式になります。

      • [タイプ] ドロップダウンリストから [ディレクトリ] を選択した場合、テンプレートはフォルダー形式になります。

      親レベル

      ファイルまたはフォルダの親ディレクトリ。

      ジョブタイプ

      • バッチ: バッチアプリケーション。

      • Streaming: ストリーミングアプリケーション。

    8. クリックOK.

    9. Sparkテンプレートを作成したら、SparkエディターでSparkアプリケーションを設定します。 詳細については、「Sparkアプリケーション開発の概要」をご参照ください。

    10. Sparkアプリケーションの設定後、次の操作を実行します。

      • [保存] をクリックしてSparkアプリケーションを保存します。 その後、アプリケーションを再利用できます。

      • [今すぐ実行] をクリックしてSparkアプリケーションを実行します。 Sparkアプリケーションのステータスは、[アプリケーション] タブにリアルタイムで表示されます。

        説明

        Sparkアプリケーションを実行する前に、ジョブリソースグループとアプリケーションタイプを選択する必要があります。

    Sparkアプリケーションに関する情報の表示

    1. [アプリケーション] タブで、[アプリケーションID] でアプリケーションを検索し、次の操作を実行してSparkアプリケーションに関する情報を表示します。

      • [操作] 列の [ログ] をクリックして、現在のSparkアプリケーションのドライバーログまたはSQL文の実行ログを表示します。

      • [操作] 列の Ui をクリックして、対応するSpark UIに移動します。 UIへのアクセスには有効期間があります。 有効期間が終了した場合は、UIに再アクセスする必要があります。

      • [操作] 列の [詳細] をクリックして、ログパス、web UI URL、クラスターID、リソースグループ名など、現在のアプリケーションの送信の詳細を表示します。

      • 現在のアプリケーションを停止するには、[操作] 列で [詳細]> 停止 を選択します。

      • 現在のアプリケーションでの再試行の履歴を表示するには、[操作] 列の [詳細]> [履歴] を選択します。

    2. On the実行履歴タブで、すべてのアプリケーションでの再試行の履歴を表示します。

      説明

      デフォルトでは、アプリケーションが失敗した後は再試行は実行されません。 再試行を実行するには、spark.adb.maxAttemptsおよびspark.adb.attemptFailuresValidityIntervalパラメーターを設定します。 詳細については、「Sparkアプリケーションの設定パラメーター」をご参照ください。