云原生数据仓库AnalyticDB：自动同步PolarDB-X元数据

前提条件

• 湖仓版集群与PolarDB-X 2.0实例位于同一地域且所属同一VPC。具体操作，请参见创建湖仓版集群和创建PolarDB-X 2.0实例。

• PolarDB-X 2.0实例的系列为企业版，版本为5.4.19-16989811及以上。

  说明

  如何查看并升级实例版本，请参见查看和升级实例版本。

• 湖仓版集群内核版本需为3.2.0.0及以上。

  说明

  如何查看集群内核版本，请参见如何查看实例版本信息。如需升级内核版本，请联系技术支持。

• 已创建湖仓版（3.0）集群的数据库账号。

  • 如果是通过阿里云账号访问，只需创建高权限账号。具体操作，请参见创建高权限账号。

  • 如果是通过RAM用户访问，需要创建高权限账号和普通账号并且将RAM用户绑定到普通账号上。具体操作，请参见创建数据库账号和绑定或解绑RAM用户与数据库账号。

背景信息

AnalyticDB for MySQL是基于湖仓一体架构打造的实时数仓，可以对海量数据进行高性能的查询。PolarDB-X是高性能云原生分布式数据库，可支撑千万级并发规模及百PB级海量存储。PolarDB-X 2.0实例开通列存引擎，绑定湖仓版集群后，湖仓版集群会自动创建元数据发现任务，PolarDB-X 2.0实例列存表的元数据信息会自动同步到湖仓版集群，您可以直接在湖仓版集群中进行数据分析。

一站式同步PolarDB-X 2.0实例数据的优点如下：

• 实时同步：您在PolarDB-X 2.0中修改数据后，会秒级同步到湖仓版集群，在湖仓版集群中可以秒级查询数据的变化，实现真正的实时分析。

• 简单易用：PolarDB-X 2.0中的数据和表结构修改后会自动同步到湖仓版集群，您无需做任何管理。

• 高性价比、成本低：PolarDB-X 2.0开通列存引擎，无需额外费用。在湖仓版集群中进行数据分析时，可以使用Job型资源组进行SQL开发，Job型资源组计算和存储资源按需弹性，成本低。

应用场景

一站式同步PolarDB-X 2.0数据主要适用于以下场景：

• PolarDB-X 2.0数据实时分析：对PolarDB-X 2.0中数据进行实时分析，同时不影响在线业务。

• 多数据源关联分析：需要把PolarDB-X 2.0的数据和其它数据源数据关联分析。

• 多PolarDB-X 2.0实例数据分析：对多个PolarDB-X 2.0中的数据进行关联分析。

注意事项

同步数据时，会在湖仓版集群中创建与PolarDB-X 2.0实例中数据库和表同名的库表，因此在同步数据时需注意以下内容：

• 若湖仓版集群中已经存在同名库和同名表，则会导致数据同步失败。

• 若湖仓版集群仅存在同名库，则不会创建新的数据库，表会同步至已存在的同名库中。

数据准备

本示例的PolarDB-X 2.0数据库名为test_adb，并在该库中创建了一张名为person的表，示例如下：

CREATE DATABASE test_adb MODE='AUTO'
CREATE TABLE  person (
`id` bigint NOT NULL AUTO_INCREMENT,
`age` int(11) NOT NULL DEFAULT '0',
`name` char(60) NOT NULL DEFAULT '',
`city` char(60) NOT NULL DEFAULT '',
PRIMARY KEY (`id`),
INDEX `age_1` (`age`)
) PARTITION BY KEY(`id`) PARTITIONS 4;

向person表中插入数据，示例如下：

INSERT INTO person VALUES (1,23,'Bob','Hangzhou'),(2,33,'Make','Wuhan');

为person表的id列创建列存索引，索引名为person_col_index。

CREATE clustered columnar INDEX `person_col_index` ON person(`id`) PARTITION BY hash(`id`) partitions 4;

操作步骤