すべてのプロダクト
Search

このプロダクト

    AnalyticDB:Sparkエディター

    ドキュメントセンター

    AnalyticDB:Sparkエディター

    最終更新日:Dec 05, 2024

    このトピックでは、AnalyticDB for MySQLコンソールでSparkアプリケーションを作成および実行する方法について説明します。

    概要

    • Sparkエディターを使用して、Sparkバッチまたはストリーミングアプリケーションを作成および実行できます。

    • 現在のSparkアプリケーションのドライバーログと送信の詳細を表示できます。

    • SQL文の実行ログを表示できます。

    前提条件

    • AnalyticDB for MySQLData Lakehouse Editionクラスターが作成されます。

    • ジョブのリソースグループは、AnalyticDB for MySQLのData Lakehouse Editionクラスター用に作成されます。 詳細については、「リソースグループの作成」をご参照ください。

    • RAM (Resource Access Management) ユーザーに必要な権限が付与されます。 詳細については、「RAMユーザーと権限の管理」トピックの「RAMユーザーへの権限の付与」セクションをご参照ください。

    • AnalyticDB for MySQLクラスター用のデータベースアカウントが作成されます。

    • AnalyticDB for MySQLは、AliyunADBSparkProcessingDataRoleロールを引き受けて他のクラウドリソースにアクセスする権限があります。 詳細については、「権限付与の実行」をご参照ください。

    • Sparkアプリケーションのログストレージパスが設定されています。

      説明

      AnalyticDB for MySQL コンソールにログインします。 管理するクラスターを確認し、クラスター ID をクリックします。 左側のナビゲーションウィンドウで、ジョブを開発する > Spark Jar 開発 を選択します。 ログ設定 をクリックします。 表示されるダイアログボックスで、デフォルトパスを選択するか、カスタムストレージパスを指定します。 カスタムストレージパスをOSSのルートディレクトリに設定することはできません。 カスタムストレージパスに少なくとも1つのレイヤーのフォルダーが含まれていることを確認します。

    Sparkアプリケーションの作成と実行

    1. AnalyticDB for MySQL コンソールにログインします。 ホームページの左上でリージョンを選択します。 左側のナビゲーションウィンドウで、クラスターリスト をクリックします。 　

      [Data Lakehouse Edition] タブで、管理するクラスターを見つけ、クラスターIDをクリックします。

    2. 左側のナビゲーションウィンドウで、ジョブ开発 > スパークJAR開発.

    3. スパークJAR開発ページをクリックし、1の右にアイコンアプリケーション.

    4. アプリケーションの作成パネルで、次の表で説明するパラメーターを設定します。

      パラメーター

      説明

      名前

      アプリケーションまたはディレクトリの名前。 ファイル名は大文字と小文字を区別しません。

      タイプ

      • [タイプ] ドロップダウンリストから [アプリケーション] を選択した場合、テンプレートはファイル形式になります。

      • [タイプ] ドロップダウンリストから [ディレクトリ] を選択した場合、テンプレートはフォルダー形式になります。

      親レベル

      ファイルまたはフォルダの親ディレクトリ。

      ジョブタイプ

      • バッチ: バッチアプリケーション。

      • Streaming: ストリーミングアプリケーション。

      • SQLエンジン: Spark分散SQLエンジン。

    5. OK.

    6. Sparkテンプレートを作成したら、SparkエディターでSparkアプリケーションを設定します。 詳細については、「概要」をご参照ください。

    7. Sparkアプリケーションの設定後、次の操作を実行します。

      • [保存] をクリックしてSparkアプリケーションを保存します。 その後、アプリケーションを再利用できます。

      • [今すぐ実行] をクリックしてSparkアプリケーションを実行します。 Sparkアプリケーションのステータスは、[アプリケーション] タブにリアルタイムで表示されます。

        • 説明

        Sparkアプリケーションを実行する前に、ジョブリソースグループとアプリケーションタイプを選択する必要があります。

    Sparkアプリケーションに関する情報の表示

    1. [アプリケーション] タブで、[アプリケーションID] でアプリケーションを検索し、次の操作を実行してSparkアプリケーションに関する情報を表示します。

      • [操作] 列の [ログ] をクリックして、現在のSparkアプリケーションのドライバログまたはSQL文の実行ログを表示します。

      • [操作] 列の Ui をクリックして、対応するSpark UIに移動します。 UIへのアクセスには有効期間があります。 有効期間が終了した場合は、UIに再アクセスする必要があります。

      • [操作] 列の [詳細] をクリックして、ログパス、web UI URL、クラスターID、リソースグループ名など、現在のアプリケーションの送信の詳細を表示します。

      • 現在のアプリケーションを停止するには、[操作] 列で [詳細]> 停止 を選択します。

      • 現在のアプリケーションでの再試行の履歴を表示するには、[操作] 列の [詳細]> [履歴] を選択します。

    2. 実行履歴タブで、すべてのアプリケーションでの再試行の履歴を表示します。

      説明

      デフォルトでは、アプリケーションが失敗した後は再試行は実行されません。 再試行を実行するには、spark.adb.maxAttemptsおよびspark.adb.attemptFailuresValidityIntervalパラメーターを設定します。 詳細については、「Sparkアプリケーション設定パラメーター」をご参照ください。