AnalyticDB:Spark SQLを使用したDelta外部テーブルの読み書き

ステップ1: SQL Developmentページへ

1. AnalyticDB for MySQL コンソールにログインします。

2. ページの左上隅で、リージョンを選択します。

3. 左側のナビゲーションペインで、クラスターリスト をクリックします。

4. Lake Warehouse Edition(3.0) タブで、管理するクラスターを見つけ、クラスター ID をクリックします。

5. 左側のナビゲーションウィンドウで、[ジョブ開発] > [SQL開発] を選択します。

6. [SQLConsole] タブで、Sparkエンジンとジョブリソースグループを選択します。

手順2: 外部データベースとDelta外部テーブルの作成

1. 次の文を実行してデータベースを作成します。 データベースが既に存在する場合は、この手順をスキップします。

   add jar oss://<bucket_name>/path/to/delta-core_xx.jar;    /* A custom Delta package. You must manually upload the package to OSS. */
   
   add jar oss://<bucket_name>/path/to/delta-storage-xx.jar; /* A custom Delta package. You must manually upload the package to OSS. */
   
   SET spark.adb.connectors=oss;   /* The connector of AnalyticDB for MySQL Spark. Set the connector to OSS. */ 
   
   SET spark.sql.extensions=io.delta.sql.DeltaSparkSessionExtension;  /* An open source Spark parameter. */
   
   SET spark.sql.catalog.spark_catalog=org.apache.spark.sql.delta.catalog.DeltaCatalog;   /* An open source Spark parameter. */
   
   CREATE DATABASE if not exists external_delta_db
   location "oss://<bucket_name>/test/";          /* The location where you want to create the database. Replace the parameter value with your OSS path. */

2. 次のステートメントを実行して、Delta外部テーブルを作成します。

   存在しない場合は

   CREATE TABLE if not exists external_delta_db.delta_test_tbl (
     id int, 
     name string, 
     age int
   ) using delta 
   partitioned by (age) 
   location "oss://<bucket_name>/test/delta_test_tbl";

手順3: データをDelta外部テーブルに書き込む

インサート

次のいずれかの方法を使用して、Delta外部テーブルにデータを書き込みます。

• 方法1: INSERT INTOステートメントを実行する

  INSERT INTO external_delta_db.delta_test_tbl values(1, 'lisa', 10),(2, 'jams', 10);

• 方法2: INSERT OVERWRITEステートメントを実行する

  INSERT OVERWRITE external_delta_db.delta_test_tbl values (2, 'zhangsan', 10), (4, 'lisi', 30);

• 方法3: INSERT OVERWRITEステートメントを実行してデータを静的パーティションに書き込む

  INSERT OVERWRITE external_delta_db.delta_test_tbl partition(age=17) values(3, 'anna');

• 方法4: INSERT OVERWRITEステートメントを実行して、動的パーティションにデータを書き込む

  INSERT OVERWRITE external_delta_db.delta_test_tbl partition (age) values (1, 'bom', 10);

更新

次の文を実行してデータを更新します。 この例では、id値が1であるname列のデータがボックスに更新されます。

UPDATE external_delta_db.delta_test_tbl set name = 'box' where id = 1;

削除

次の文を実行してデータを削除します。 この例では、id値が1の行が削除されます。

DELETE FROM external_delta_db.delta_test_tbl where id = 1;

ステップ4: データの照会

次のステートメントを実行して、Delta外部テーブルのデータを照会します。

SELECT * FROM external_delta_db.delta_test_tbl;