AnalyticDB:PolarDB-XインスタンスのメタデータをData Lakehouse Editionクラスターに自動的に同期する

前提条件

• Data Lakehouse Edition (V3.0) クラスターとPolarDB-X 2.0インスタンスは、同じリージョンの同じVPCに属しています。 詳細については、「Data Lakehouse Editionクラスターの作成」および「PolarDB-Xインスタンスの作成」をご参照ください。

• PolarDB-X 2.0インスタンスはEnterprise Editionです。 PolarDB-Xインスタンスのバージョンは5.4.19-16989811以降です。

  説明

  インスタンスのバージョンを表示およびアップグレードする方法の詳細については、「インスタンスのバージョンの表示と更新」をご参照ください。

• Data Lakehouse Edition (V3.0) クラスターのマイナーバージョンは3.2.0.0以降です。

  説明

  クラスターのマイナーバージョンをクエリする方法については、AnalyticDB for MySQLクラスターのバージョンを照会するにはどうすればよいですか? クラスターのマイナーバージョンを更新するには、テクニカルサポートにお問い合わせください。

• AnalyticDB for MySQL Data Lakehouse Edition (V3.0) クラスター用にデータベースアカウントが作成されます。

  • Alibaba Cloudアカウントを使用する場合は、特権アカウントを作成する必要があります。 詳細については、「データベースアカウントの作成」トピックの「特権アカウントの作成」セクションをご参照ください。

  • RAM (Resource Access Management) ユーザーを使用する場合は、特権アカウントと標準アカウントの両方を作成し、標準アカウントをRAMユーザーに関連付ける必要があります。 詳細については、「データベースアカウントの作成」および「データベースアカウントの関連付けまたは関連付けの解除」をご参照ください。

背景情報

AnalyticDB for MySQLは、データレイクハウスのアーキテクチャに基づいて構築されたリアルタイムのレイクハウスであり、大量のデータに対して高性能なクエリ機能を提供します。 PolarDB-Xは数千万件の同時リクエストを処理し、数百ペタバイトのデータを保存できる、高性能なクラウドネイティブデータベースサービス。 PolarDB-X 2.0インスタンスの列ベースのストレージエンジンを有効にし、インスタンスをData Lakehouse Edition (V3.0) クラスターに関連付けると、Data Lakehouse Edition (V3.0) クラスターが自動的にメタデータ検出タスクを作成します。 PolarDB-X 2.0インスタンスの列指向テーブルのメタデータ情報は、Data Lakehouse Edition (V3.0) クラスターに自動的に同期されます。 data Lakehouse Edition (V3.0) クラスターで直接データ分析を実行できます。

PolarDB-X 2.0インスタンスのワンストップデータ同期ソリューションには、次の利点があります。

• リアルタイム同期: PolarDB-X 2.0インスタンスのデータを変更すると、データは数秒以内にdata Lakehouse Edition (V3.0) クラスターに同期されます。 Lake Warehouse Edition (3.0) クラスターのデータ変更を数秒以内にクエリして、リアルタイムのデータ分析を実装できます。

• 使いやすい: PolarDB-X 2.0インスタンスのデータとテーブル構造を変更すると、変更は自動的にdata Lakehouse Edition (V3.0) クラスターに同期されます。 追加の操作を実行する必要はありません。

• 費用対効果: PolarDB-X 2.0インスタンスの列ベースのストレージエンジンの有効化は無料です。 data Lakehouse Edition (V3.0) クラスターでデータ分析を実行するときに、ジョブリソースグループを使用してSQL文を開発できます。 ジョブリソースグループは、低コストで柔軟なコンピューティングおよびストレージリソースをオンデマンドで提供します。

シナリオ

PolarDB-X 2.0インスタンスのワンストップデータ同期ソリューションは、次のシナリオに適用できます。

• PolarDB-X 2.0インスタンスのリアルタイムデータ分析: オンラインビジネスに影響を与えることなく、PolarDB-X 2.0インスタンスのデータをリアルタイムで分析します。

• 複数のデータソースにわたる関連付け分析: PolarDB-X 2.0インスタンスおよびその他のデータソースにわたるデータを分析します。

• 複数のPolarDB-X 2.0インスタンスのデータ分析: 複数のPolarDB-X 2.0インスタンスのデータを分析します。

使用上の注意

データ同期中、PolarDB-X 2.0インスタンスのデータベースおよびテーブルと同じ名前のデータベースおよびテーブルがdata Lakehouse Edition (V3.0) クラスターに作成されます。 以下の点にご注意ください。

• PolarDB-X 2.0インスタンスのデータベースおよびテーブルと同じ名前のデータベースおよびテーブルがData Lakehouse Edition (V3.0) クラスターにすでに存在する場合、データ同期は失敗します。

• PolarDB-X 2.0インスタンスのデータベースと同じ名前のデータベースがData Lakehouse Edition (V3.0) クラスターにすでに存在する場合、テーブルは既存のデータベースと同期されます。

データ準備

この例では、PolarDB-X 2.0データベースの名前はtest_adbで、personという名前のテーブルがデータベースに作成されます。 次のサンプルコードを参照してください。

CREATE DATABASE test_adb MODE='AUTO'
テーブルの作成者 (
'id' bigint NOT NULL AUTO_INCREMENT、'age' int (11) NOT NULL DEFAULT '0',
'name'char (60) NOT NULL DEFAULT ''、'city'char (60) NOT NULL DEFAULT ''、主要なキー ('id') 、インデックス 'age_1 ' ('age')
) キーによるパーティー ('id') パーティー4; 

personテーブルにデータレコードを挿入します。 サンプルコード:

INSERT INTO person VALUES (1,23、'Bob' 、'Hangzhou') 、(2,33、'Make' 、'Wuhan');

personテーブルのid列にperson_col_indexという名前の列インデックスを作成します。

クラスター化列INDEX 'person_col_index 'ON person('id') PARTITION BY hash('id') パーティション4;

手順