AnalyticDB for MySQL:外部テーブルを使用してdata Lakehouse Editionにデータをインポートする

SQLエディターに移動します。

外部データベースを作成します。

外部データベースの作成adb_external_db;

外部テーブルを作成します。 この例では、test_adbという名前の外部テーブルが使用されています。

外部テーブルを作成します (
    id int,
    名前varchar(1023) 、
    age int,
    dtストリング
    ) エンジン='ODPS'
TABLE_PROPERTIES='{
"accessid":"LTAILd4 ****" 、"endpoint":" http://service.cn-hangzhou.maxcompute.aliyun.com/api " 、"accesskey":"4A5Q7ZVzcYnWMQPysX ****" 、"partition_column":"dt" 、"project_name":"test_adb" 、"table_name":"person"
} '; 

データの照会

SELECT * からadb_external_db.test_adb;

サンプル結果:

+ ------ ------ ------- -------------
| id | name | 年齢 | dt |
------ ------ -------- --------------
| 1 | ジェームズ | 10 | 202207 |
| 2 | ボンド | 20 | 202207 |
| 3 | ジャック | 30 | 202207 |
| 4 | ルーシー | 40 | 202207 |
------ ------ -------- --------------
セットの4列 (0.35秒) 

MaxComputeからAnalyticDB for MySQLにデータをインポートするには、次の手順を実行します。

1. AnalyticDB for MySQLクラスターにデータベースを作成します。

CREATE DATABASE adb_demo;

2. AnalyticDB for MySQLデータベースにテーブルを作成し、MaxComputeからインポートされたデータを保存します。

説明

作成されたテーブルは、手順3で作成された外部テーブルと同じ数と順序のフィールドを使用する必要があります。 フィールドのデータ型は、2つのテーブル間で互換性がある必要があります。

adb_demo.adb_import_testが存在しない場合は

テーブルを作成します (
    id int,
    名前文字列,
    age int,
    dtストリング
    主要なキー (id、dt)
)
ハッシュによる分配 (id)
値による部分 ('dt'); 

3. テーブルにデータを書き込みます。

• 方法1: INSERT INTOステートメントを実行してデータをインポートします。 主キーの値が重複している場合、データは繰り返し挿入されません。 この場合、INSERT INTOステートメントはINSERT IGNORE INTOステートメントに相当します。 詳細については、「INSERT INTO」をご参照ください。

adb_demo.adb_import_testに挿入する
SELECT * からadb_external_db.test_adb; 

特定のパーティションからadb_demo.adb_import_testテーブルにデータをインポートする場合は、次のステートメントを実行します。

adb_demo.adb_import_testに挿入する
SELECT * からadb_external_db.test_adb
WHERE dt='20220'; 

• 方法2: INSERT OVERWRITE INTOステートメントを実行してデータをインポートします。 主キーの値が重複している場合、元の値は新しい値で上書きされます。

上書きをadb_demo.adb_import_testに挿入する
SELECT * からadb_external_db.test_adb; 

• 方法3: INSERT OVERWRITE INTOステートメントを実行して、データを非同期的にインポートします。 ほとんどの場合、SUBMIT JOBステートメントは非同期ジョブの送信に使用されます。 ジョブを高速化するために、データインポートステートメントの前にヒント (/* + direct_batch_load=true */) を追加できます。 詳細については、「INSERT OVERWRITE SELECT」トピックの「非同期書き込み」セクションをご参照ください。

ジョブを送信する
上書きをadb_demo.adb_import_testに挿入する
SELECT * からadb_external_db.test_adb; 

サンプル結果:

+ --------------------------------------- +
| job_id |
+ --------------------------------------- +
| 2020112122202917203100908203303 ****** |
+ --------------------------------------- + 

• ジョブを非同期で送信する方法については、「インポートジョブを非同期で送信」をご参照ください。

SQLエディターに移動します。

データベースを作成します。 すでにデータベースを作成している場合は、この手順をスキップしてください。

CREATE DATABASE adb_demo;

外部テーブルを作成します。

が存在しない場合はテーブルを作成しますtest_adb
(
    id int,
    名前文字列,
    age int,
    dtストリング
)
 エンジン='ODPS'
 TABLE_PROPERTIES='{
 "endpoint":" http://service.cn-hangzhou.maxcompute.aliyun-inc.com/api " 、
 "accessid":"LTAILd4 ****" 、
 "accesskey":"4A5Q7ZVzcYnWMQPysX ****" 、
 "partition_column":"dt" 、
 "project_name":"test_adb" 、
 "table_name":"person"
 }';                 

外部テーブルパラメーターの詳細については、「外部テーブルを使用してデータをdata Warehouse Editionにインポートする」トピックのパラメーターテーブルをご参照ください。

データの照会

SELECT * からadb_demo.test_adb;

サンプル結果:

+ ------ ------ ------- -------------
| id | name | 年齢 | dt |
------ ------ -------- --------------
| 1 | ジェームズ | 10 | 202207 |
| 2 | ボンド | 20 | 202207 |
| 3 | ジャック | 30 | 202207 |
| 4 | ルーシー | 40 | 202207 |
------ ------ -------- --------------
セットの4列 (0.35秒) 

AnalyticDB for MySQLデータベースにテーブルを作成し、MaxComputeからインポートされたデータを保存します。

が存在しない場合はテーブルを作成します。adb_import_test
(id int,
    名前文字列,
    age int,
    dtストリング、
    主要なキー (id、dt)
)
ハッシュによる分配 (id)
値によるパーティション ('dt') LIFECYCLE 30; 

データをインポートする。

(オプション) 送信されたジョブがエラスティックインポートジョブであるかどうかを確認します。

SELECT job_name, (job_type = 3) AS is_elastic_load FROM INFORMATION_SCHEMA.kepler_meta_async_jobs WHERE job_name = "2023081818010602101701907303151 ******";

サンプル結果:

+ --------------------------------------- + ------------------ +
| job_name | is_elastic_load |
+ --------------------------------------- + ------------------ +
| 2023081517195203101701907203151 ****** | 1 |
+ --------------------------------------- + ------------------ + 

エラスティックインポートジョブが送信されると、is_elastic_loadパラメーターの1が返されます。 通常のインポートジョブが送信されると、0が返されます。