AnalyticDB:外部テーブルを使用してdata Lakehouse Editionにデータをインポートする

SQLエディターに移動します。

外部データベースを作成します。

CREATE EXTERNAL DATABASE adb_external_db;

外部テーブルを作成します。 この例では、test_adbという名前の外部テーブルが作成されます。

adb_external_db.test_adbが存在しない場合は

CREATE EXTERNAL TABLE IF NOT EXISTS adb_external_db.test_adb (
    id int,
    name varchar(1023),
    age int,
    dt string
    ) ENGINE='ODPS'
TABLE_PROPERTIES='{
"accessid":"LTAILd4****",
"endpoint":"http://service.cn-hangzhou.maxcompute.aliyun.com/api",
"accesskey":"4A5Q7ZVzcYnWMQPysX****",
"partition_column":"dt",
"project_name":"test_adb",
"table_name":"person"
}';

データの照会

SELECT * FROM adb_external_db.test_adb;

サンプル結果:

+------+-------+------+---------+
| id   | name  | age  |   dt    |
+------+-------+------+---------+
|    1 | james |   10 |  202207 |
|    2 | bond  |   20 |  202207 |
|    3 | jack  |   30 |  202207 |
|    4 | lucy  |   40 |  202207 |
+------+-------+------+---------+
4 rows in set (0.35 sec)

MaxComputeからAnalyticDB for MySQLにデータをインポートするには、次の手順を実行します。

1. AnalyticDB for MySQLクラスターにデータベースを作成します。

   CREATE DATABASE adb_demo; 

2. AnalyticDB for MySQLデータベースにテーブルを作成し、MaxComputeからインポートされたデータを保存します。

   説明

   作成されたテーブルは、手順3で作成された外部テーブルと同じ数と順序のフィールドを使用する必要があります。 フィールドのデータ型は、2つのテーブル間で互換性がある必要があります。

   adb_demo.adb_import_testが存在しない場合は

   CREATE TABLE IF NOT EXISTS adb_demo.adb_import_test(
       id int,
       name string,
       age int,
       dt string
       PRIMARY KEY(id,dt)
   )
   DISTRIBUTE BY HASH(id)  
   PARTITION BY VALUE('dt'); 

3. テーブルにデータを書き込みます。

   • 方法1: INSERT INTOステートメントを実行してデータをインポートします。 主キーの値が重複している場合、データは繰り返し挿入されません。 この場合、INSERT INTOステートメントはINSERT IGNORE INTOステートメントに相当します。 詳細については、「INSERT INTO」をご参照ください。

     INSERT INTO adb_demo.adb_import_test
     SELECT * FROM adb_external_db.test_adb;

     特定のパーティションからadb_demo.adb_import_testテーブルにデータをインポートする場合は、次のステートメントを実行します。

     INSERT INTO adb_demo.adb_import_test
     SELECT * FROM adb_external_db.test_adb 
     WHERE dt = '202207'; 

   • 方法2: INSERT OVERWRITE INTOステートメントを実行してデータをインポートします。 主キーの値が重複している場合、元の値は新しい値で上書きされます。

     INSERT OVERWRITE INTO adb_demo.adb_import_test
     SELECT * FROM adb_external_db.test_adb;

   • 方法3: INSERT OVERWRITE INTOステートメントを実行して、データを非同期的にインポートします。 ほとんどの場合、SUBMIT JOBステートメントは非同期ジョブの送信に使用されます。 ジョブを高速化するために、データインポートステートメントの前にヒント (/* + direct_batch_load=true */) を追加できます。 詳細については、「INSERT OVERWRITE SELECT」トピックの「非同期書き込み」セクションをご参照ください。

     SUBMIT job 
     INSERT OVERWRITE INTO adb_demo.adb_import_test
     SELECT * FROM adb_external_db.test_adb;

     サンプル結果:

     +---------------------------------------+
     | job_id                                |
     +---------------------------------------+
     | 2020112122202917203100908203303****** |
     +---------------------------------------+

     ジョブを非同期で送信する方法については、「インポートジョブを非同期で送信」をご参照ください。

SQLエディターに移動します。

データベースを作成します。 すでにデータベースを作成している場合は、この手順をスキップしてください。

CREATE DATABASE adb_demo; 

外部テーブルを作成します。

CREATE TABLE IF NOT EXISTS test_adb
(
    id int,
    name string,
    age int,
    dt string
)
 ENGINE='ODPS'
 TABLE_PROPERTIES='{
 "endpoint":"http://service.cn-hangzhou.maxcompute.aliyun-inc.com/api",
 "accessid":"LTAILd4****",
 "accesskey":"4A5Q7ZVzcYnWMQPysX****",
 "partition_column":"dt",
 "project_name":"test_adb",
 "table_name":"person"
 }';                 

外部テーブルパラメーターの詳細については、「外部テーブルを使用してデータをdata Warehouse Editionにインポートする」トピックのパラメーターテーブルをご参照ください。

データの照会

SELECT * FROM adb_demo.test_adb;

サンプル結果:

+------+-------+------+---------+
| id   | name  | age  |   dt    |
+------+-------+------+---------+
|    1 | james |   10 |  202207 |
|    2 | bond  |   20 |  202207 |
|    3 | jack  |   30 |  202207 |
|    4 | lucy  |   40 |  202207 |
+------+-------+------+---------+
4 rows in set (0.35 sec)

AnalyticDB for MySQLデータベースにテーブルを作成し、MaxComputeからインポートされたデータを保存します。

CREATE TABLE IF NOT EXISTS adb_import_test
(   id int,
    name string,
    age int,
    dt string,
    PRIMARY KEY(id,dt)
)
DISTRIBUTE BY HASH(id)
PARTITION BY VALUE('dt') LIFECYCLE 30;  

データをインポートする。

(オプション) 送信されたジョブがエラスティックインポートジョブであるかどうかを確認します。

SELECT job_name, (job_type = 3) AS is_elastic_load FROM INFORMATION_SCHEMA.kepler_meta_async_jobs WHERE job_name = "2023081818010602101701907303151******";

サンプル結果:

+---------------------------------------+------------------+
| job_name                              | is_elastic_load  |
+---------------------------------------+------------------+
| 2023081517195203101701907203151****** |       1          |
+---------------------------------------+------------------+

エラスティックインポートジョブが送信されると、is_elastic_loadパラメーターの1が返されます。 通常のインポートジョブが送信されると、0が返されます。