AnalyticDB:ApsaraDB RDS for MySQLへのアクセス

AnalyticDB for MySQLコンソールにログインします。 ホームページの左上でリージョンを選択します。 左側のナビゲーションウィンドウで、クラスターリスト をクリックします。 Lake Warehouse Edition(3.0) タブで、管理するクラスターを見つけ、クラスターIDをクリックします。

左側のナビゲーションウィンドウで、[ジョブの開発] > Spark Jar 開発 を選択します。

Sparkジョブのジョブリソースグループとジョブタイプを選択します。 この例では、バッチタイプが選択されています。

Sparkエディターで次のコードを実行します。

{
    "name": "rds-mysql-example" 、
    "jars": [
        "oss:// testBucketName/mysql-connector-java-8.0.11.jar"
    ],
    "file": "oss:// testBucketName/rds_test.jar" 、
    "className": "com.aliyun.spark.SparkRDS" 、
    "conf": {
        "spark.adb.eni.enabled": "true" 、
        "spark.adb.eni.vswitchId": "vsw-bp17jqw3lrrobn6y ****" 、
        "spark.adb.eni.securityGroupId": "sg-bp163uxgt4zandx ****" 、
        "spark.driver.resourceSpec": "small" 、
        "spark.exe cutor.instances": 1、
        "spark.exe cutor.resourceSpec": "small"
    }
}

下表に、各パラメーターを説明します。

AnalyticDB for MySQLコンソールにログインします。 ホームページの左上でリージョンを選択します。 左側のナビゲーションウィンドウで、クラスターリスト をクリックします。 Lake Warehouse Edition(3.0) タブで、管理するクラスターを見つけ、クラスターIDをクリックします。

左側のナビゲーションウィンドウで、[ジョブの開発] > Spark Jar 開発 を選択します。

Sparkジョブのジョブリソースグループとジョブタイプを選択します。 この例では、バッチタイプが選択されています。

Sparkエディターで次のコードを実行します。

{
    "name": "rds-mysql-example" 、
    "jars": [
        "oss:// testBucketName/mysql-connector-java-8.0.11.jar"
    ],
    "file": "oss:// testBucketName/rds_test.jar" 、
    "className": "com.aliyun.spark.SparkRDS" 、
    "conf": {
        "spark.adb.eni.enabled": "true" 、
        "spark.adb.eni.vswitchId": "vsw-bp17jqw3lrrobn6y ****" 、
        "spark.adb.eni.securityGroupId": "sg-bp163uxgt4zandx ****" 、
        "spark.driver.resourceSpec": "small" 、
        "spark.exe cutor.instances": 1、
        "spark.exe cutor.resourceSpec": "small"
        "spark.adb.eni.roleArn":"acs:ram::testAccountID:role/testUserName"
    }
}

下表に、各パラメーターを説明します。

パラメーターの詳細については、前述のパラメーターテーブルをご参照ください。

ApsaraDB for RDS コンソールにログインします。 ホームページの左上でリージョンを選択します。 左側のナビゲーションウィンドウで、[インスタンス] をクリックします。 表示されるページで、表示するインスタンスのIDをクリックします。

左側のナビゲーションウィンドウで、[セキュリティコントロール] をクリックします。

[CA証明書のダウンロード] をクリックします。

CA証明書パッケージを解凍し、抽出したJKS証明書ファイルをOSSにアップロードします。 詳細については、「オブジェクトのアップロード」をご参照ください。

ApsaraDB RDS for MySQLインスタンスのテーブルへのアクセスに使用するプログラムを作成します。 次に、Sparkジョブに必要なJARパッケージにプログラムをコンパイルします。 この例では、JARパッケージの名前はtest.jarです。 サンプルコード：

パッケージorg.example
org.apache.spark.sql.SparkSessionをインポートする

object Test {
  def main(args: Array[String]): Unit = {
    // JKS証明書ファイルのOSSパス。oss:// testBucketName/folder/ApsaraDB-CA-Chain.jks形式です。 
    val JKS_FILE_PATH = args(0)
    
    // ApsaraDB RDS for MySQLデータベースへの接続に使用されるデータベースアカウント。 
    val USERNAME = args (1)

    // データベースアカウントのパスワード。 
    val PASSWORD = args (2)

    ApsaraDB for RDS データベースの名前です。 
    val DATABASE_NAME = args (3)

    // ApsaraDB RDS for MySQLインスタンスのテーブルの名前。 
    val TABLE_NAME = args (4)
    // ApsaraDB RDS for MySQLインスタンスの内部エンドポイント。 
    val mysqlUrl = "jdbc:mysql:// rm-bp11mpql1e01 **** .mysql.rds.aliyuncs.com:3306/?" +
      "useSSL=true" +
      s "&trustCertificateKeyStoreUrl=file:/// tmp/testBucketName/folder/ApsaraDB-CA-Chain.jks" +
      "&trustCertificateKeyStorePassword=apsaradb" +
      "&trustCertificateKeyStoreType=JKS" +
    
    val spark = SparkSession.builder().getOrCreate()

     spark.read.format("jdbc")
      . オプション ("driver", "com.mysql.cj.jdbc.Driver")
      . オプション ("url", mysqlUrl)
      . オプション ("user", USERNAME)
      . オプション (「パスワード」、パスワード)
      . オプション ("dbtable", s "${DATABASE_NAME}.${TABLE_NAME}")
      .load()
      . show()
  }
}

下表に、各パラメーターを説明します。

test.jarパッケージをOSSにアップロードします。 詳細については、「オブジェクトのアップロード」をご参照ください。

AnalyticDB for MySQLコンソールにログインします。 ホームページの左上でリージョンを選択します。 左側のナビゲーションウィンドウで、クラスターリスト をクリックします。 Lake Warehouse Edition(3.0) タブで、管理するクラスターを見つけ、クラスターIDをクリックします。

左側のナビゲーションウィンドウで、[ジョブの開発] > Spark Jar 開発 を選択します。

Sparkジョブのジョブリソースグループとジョブタイプを選択します。 この例では、バッチタイプが選択されています。

AnalyticDB for MySQLコンソールにログインします。 ホームページの左上でリージョンを選択します。 左側のナビゲーションウィンドウで、クラスターリスト をクリックします。 Lake Warehouse Edition(3.0) タブで、管理するクラスターを見つけ、クラスターIDをクリックします。

左側のナビゲーションウィンドウで、[ジョブの開発] > Spark Jar 開発 を選択します。

Sparkジョブのジョブリソースグループとジョブタイプを選択します。 この例では、バッチタイプが選択されています。