云原生数据仓库AnalyticDB：Amazon Redshift应用和数据迁移至AnalyticDB PostgreSQL

准备工作

• 需要迁移的Amazon Redshift实例。

• 用于导出Amazon Redshift数据的Amazon S3服务。

• 已开通阿里云对象存储服务（OSS）。OSS的详细信息，请参见什么是对象存储OSS。

• 已创建OSS存储空间，请参见创建存储空间。

  说明

  建议OSS存储空间与AnalyticDB PostgreSQL版实例在同一地域，便于后续数据导入数据库中。

• 已创建AnalyticDB PostgreSQL版实例，如何选择实例规格，请参见规格选型。

规格选型

以下内容将指导您如何根据源Amazon Redshift实例规格选择目标AnalyticDB PostgreSQL版的规格。

Amazon Redshift实例由Leader Node和多个Compute Node组成。

• Leader Node：相当于AnalyticDB PostgreSQL版的Master节点，负责与客户端通信，分析和制定执行计划，实施数据库操作。

• Compute Node：相当于AnalyticDB PostgreSQL版的Segment节点，由多个Node Slices组成。每个Node Slices都相当于AnalyticDB PostgreSQL版的单个Segment节点，负责实际的数据存储和查询计算。

当创建AnalyticDB PostgreSQL版实例时，如果不知道如何选择规格，根据Amazon Redshift中每个Node Slice的规格来选择合适的AnalyticDB PostgreSQL版节点规格。

示例

源Amazon Redshift实例包含4个Compute Node（每个Node下包含两个Node Slices），每个Node Slices规格为2核16 GB，存储为1 TB。

根据源Amazon Redshift实例规格，您在创建AnalyticDB PostgreSQL版实例时，可以选择8个Segment节点，节点规格为2C16GB；每个Segment节点的存储容量选择1000 GB。

操作步骤

步骤一：将Amazon Redshift的数据导出到Amazon S3

您可以使用UNLOAD命令进行导出，如何导出，请参见UNLOAD。

UNLOAD命令语法如下。

UNLOAD ('select-statement')
TO 's3://object-path/name-prefix'
authorization
[ option [ ... ] ]

where option is
{ [ FORMAT [ AS ] ] CSV | PARQUET
| PARTITION BY ( column_name [, ... ] ) [ INCLUDE ]
| MANIFEST [ VERBOSE ] 
| HEADER           
| DELIMITER [ AS ] 'delimiter-char' 
| FIXEDWIDTH [ AS ] 'fixedwidth-spec'   
| ENCRYPTED [ AUTO ]
| BZIP2  
| GZIP 
| ZSTD
| ADDQUOTES 
| NULL [ AS ] 'null-string'
| ESCAPE
| ALLOWOVERWRITE
| CLEANPATH
| PARALLEL [ { ON | TRUE } | { OFF | FALSE } ]
| MAXFILESIZE [AS] max-size [ MB | GB ] 
| REGION [AS] 'Amazon-region' }

步骤二：将Amazon S3数据同步到阿里云OSS

本文提供了在线迁移服务和ossimport工具两种同步方法。

步骤三：创建用于装载数据的目标表

在AnalyticDB PostgreSQL版实例中创建用于装载Amazon Redshift的数据的目标表。目标表结构需与源表结构一致，建表语法，请参见CREATE TABLE。

如需修改DDL定义，例如SCHEMA、TABLE、FUNCTION、VIEW等对象信息，请参见DDL语法转换。

步骤四：将OSS数据导入AnalyticDB PostgreSQL版实例

您可以通过COPY命令或OSS外表将数据导入AnalyticDB PostgreSQL版：

• 使用COPY命令导入OSS数据的方法，请参见使用COPY或UNLOAD命令导入或导出数据到OSS。

• 使用OSS外表导入OSS数据的方法，请参见导入OSS数据到本地表。

DDL语法转换

Amazon Redshift DDL语法与AnalyticDB PostgreSQL版DDL语法略有不同，迁移前您需要对这些语法进行转换。

CREATE SCHEMA

按照AnalyticDB PostgreSQL版语法标准创建Schema，示例如下：

CREATE SCHEMA schema1 AUTHORIZATION xxxpoc;
GRANT ALL ON SCHEMA schema1 TO xxxpoc;
GRANT ALL ON SCHEMA schema1 TO public;
COMMENT ON SCHEMA model IS 'for xxx migration  poc test';

CREATE SCHEMA oss_external_table AUTHORIZATION xxxpoc;

CREATE FUNCTION

由于AnalyticDB PostgreSQL版不兼容Amazon Redshift的部分SQL函数，因此您需要定制或者重写这些函数。示例如下：

• CONVERT_TIMEZONE(a,b,c)，使用如下语句替换：

  timezone(b, timezone(a,c))

• GETDATE()，使用如下语句替换：

  current_timestamp(0):timestamp

• 用户定义函数（UDF）替换或优化。Redshift示例函数如下：

  CREATE OR REPLACE FUNCTION public.f_jdate(dt timestamp without time zone)
  RETURNS character varying AS
  '      from datetime import timedelta, datetime
         if dt.hour < 4:
                d = timedelta(days=-1)
                dt = dt + d
         return str(dt.date())'
  LANGUAGE plpythonu IMMUTABLE;
  COMMIT;

  使用如下语句替换：

  to_char(a - interval '4 hour', 'yyyy-mm-dd')

• 其他Amazon Redshift标准的函数。

  您可以在Functions and Operators中查看标准的PostgreSQL函数的用法，修改或自行实现Amazon Redshift和AnalyticDB PostgreSQL版不兼容的函数，例如：

  • DATEADD()

  • DATEDIFF()

  • REGEXP_COUNT()

CREATE TABLE

• 修改表名

  Amazon Redshift的表名最大有效长度为127个字节，而AnalyticDB PostgreSQL版的表名默认最大有效长度为63字节。若表、函数、视图等对象名称超过63个有效字符时，需要裁剪名称。

• 修改压缩算法

  您需要删除Amazon Redshift建表语句中的ENCODE XXX，用如下子句代替。

  WITH (COMPRESSTYPE={ZLIB|ZSTD|RLE_TYPE|NONE})

  AnalyticDB PostgreSQL版支持的压缩算法，请参见压缩。

• 修改分布键

  Amazon Redshift支持三种分布键（分配）。您需按照如下规则修改分布键：

  • EVEN分配：可用DISTRIBUTED RANDOMLY代替。

  • KEY分配：可用DISTRIBUTED BY (column, [ ... ] )代替。

  • ALL分配：可用DISTRIBUTED REPLICATED代替。

• 修改排序键（SortKey）

  删除Amazon Redshift的排序键子句[ COMPOUND | INTERLEAVED ] SORTKEY (column_name [, ...] ) ]中的COMPOUND或者INTERLEAVED选项，使用如下子句代替。

  order by (column, [ ... ])

示例如下：

• 示例一：

  Amazon Redshift的CREATE TABLE语句：

  CREATE TABLE schema1.table1
  (
      filed1 VARCHAR(100) ENCODE lzo,
      filed2 INTEGER DISTKEY,
      filed3 INTEGER,
      filed4 BIGINT ENCODE lzo,
      filed5 INTEGER
  )
  INTERLEAVED SORTKEY
  (
      filed1,
      filed2
  );

  转换成AnalyticDB PostgreSQL版的CREATE TABLE语句：

  CREATE TABLE schema1.table1
  (
      filed1 VARCHAR(100) ,
      filed2 INTEGER,
      filed3 INTEGER,
      filed4 BIGINT,
      filed5 INTEGER
  )
  WITH(APPENDONLY=true,ORIENTATION=column,COMPRESSTYPE=zstd)
  DISTRIBUTED BY (filed2)
  ORDER BY (filed1, filed2);
  
  -- 排序
  SORT schema1.table1;
  MULTISORT schema1.table1;

• 示例二：

  Amazon Redshift的CREATE TABLE语句，包含ENCODE和SORTKEY选项：

  CREATE TABLE schema2.table2
  (
      filed1 VARCHAR(50) ENCODE lzo,
      filed2 VARCHAR(50) ENCODE lzo,
      filed3 VARCHAR(20) ENCODE lzo,
  )
  DISTSTYLE EVEN
  INTERLEAVED SORTKEY
  (
      filed1
  );

  转换成AnalyticDB PostgreSQL版的CREATE TABLE语句：

  CREATE TABLE schema2.table2
  (
      filed1 VARCHAR(50),
      filed2 VARCHAR(50),
      filed3 VARCHAR(20),
  )
  WITH(APPENDONLY=true, ORIENTATION=column, COMPRESSTYPE=zstd)
  DISTRIBUTED randomly
  ORDER BY (filed1);
  
  -- 排序
  SORT schema2.table2;
  MULTISORT schema2.table2;

  说明

  更多sortkey信息，请参见列存表使用排序键和粗糙集索引加速查询。

CREATE VIEW

您需要将Amazon Redshift的CREATE VIEW语句转换成符合AnalyticDB PostgreSQL版语法的SQL语句。CREATE VIEW与CREATE TABLE的转换规则基本一致。