AnalyticDB：Amazon Redshift應用和資料移轉至AnalyticDB PostgreSQL

準備工作

• 需要遷移的Amazon Redshift執行個體。

• 用於匯出Amazon Redshift資料的Amazon S3服務。

• 已開通阿里雲Object Storage Service服務（OSS）。OSS的詳細資料，請參見什麼是Object Storage Service。

• 已建立OSS儲存空間，請參見建立儲存空間。

  說明

  建議OSS儲存空間與AnalyticDB PostgreSQL版執行個體在同一地區，便於後續資料匯入資料庫中。

• 已建立AnalyticDB PostgreSQL版執行個體，如何選擇執行個體規格，請參見規格選型。

規格選型

以下內容將指導您如何根據源Amazon Redshift執行個體規格選擇目標AnalyticDB PostgreSQL版的規格。

Amazon Redshift執行個體由Leader Node和多個Compute Node組成。

• Leader Node：相當於AnalyticDB PostgreSQL版的Master節點，負責與用戶端通訊，分析和制定執行計畫，實施資料庫操作。

• Compute Node：相當於AnalyticDB PostgreSQL版的Segment節點，由多個Node Slices組成。每個Node Slices都相當於AnalyticDB PostgreSQL版的單個Segment節點，負責實際的資料存放區和查詢計算。

當建立AnalyticDB PostgreSQL版執行個體時，如果不知道如何選擇規格，根據Amazon Redshift中每個Node Slice的規格來選擇合適的AnalyticDB PostgreSQL版節點規格。

樣本

源Amazon Redshift執行個體包含4個Compute Node（每個Node下包含兩個Node Slices），每個Node Slices規格為2核16 GB，儲存為1 TB。

根據源Amazon Redshift執行個體規格，您在建立AnalyticDB PostgreSQL版執行個體時，可以選擇8個Segment節點，節點規格為2C16GB；每個Segment節點的儲存容量選擇1000 GB。

操作步驟

步驟一：將Amazon Redshift的資料匯出到Amazon S3

您可以使用UNLOAD命令進行匯出，如何匯出，請參見UNLOAD。

UNLOAD命令文法如下。

UNLOAD ('select-statement')
TO 's3://object-path/name-prefix'
authorization
[ option [ ... ] ]

where option is
{ [ FORMAT [ AS ] ] CSV | PARQUET
| PARTITION BY ( column_name [, ... ] ) [ INCLUDE ]
| MANIFEST [ VERBOSE ] 
| HEADER           
| DELIMITER [ AS ] 'delimiter-char' 
| FIXEDWIDTH [ AS ] 'fixedwidth-spec'   
| ENCRYPTED [ AUTO ]
| BZIP2  
| GZIP 
| ZSTD
| ADDQUOTES 
| NULL [ AS ] 'null-string'
| ESCAPE
| ALLOWOVERWRITE
| CLEANPATH
| PARALLEL [ { ON | TRUE } | { OFF | FALSE } ]
| MAXFILESIZE [AS] max-size [ MB | GB ] 
| REGION [AS] 'Amazon-region' }

步驟二：將Amazon S3資料同步到阿里雲OSS

本文提供了線上遷移服務和ossimport工具兩種同步方法。

步驟三：建立用於裝載資料的目標表

在AnalyticDB PostgreSQL版執行個體中建立用於裝載Amazon Redshift的資料的目標表。目標表結構需與源表結構一致，建表文法，請參見CREATE TABLE。

如需修改DDL定義，例如SCHEMA、TABLE、FUNCTION、VIEW等對象資訊，請參見DDL文法轉換。

步驟四：將OSS資料匯入AnalyticDB PostgreSQL版執行個體

您可以通過COPY命令或OSS外表將資料匯入AnalyticDB PostgreSQL版：

• 使用COPY命令匯入OSS資料的方法，請參見使用COPY或UNLOAD命令匯入或匯出資料到OSS。

• 使用OSS外表匯入OSS資料的方法，請參見匯入OSS資料到本地表。

DDL文法轉換

Amazon Redshift DDL文法與AnalyticDB PostgreSQL版DDL文法略有不同，遷移前您需要對這些文法進行轉換。

CREATE SCHEMA

按照AnalyticDB PostgreSQL版文法標準建立Schema，樣本如下：

CREATE SCHEMA schema1 AUTHORIZATION xxxpoc;
GRANT ALL ON SCHEMA schema1 TO xxxpoc;
GRANT ALL ON SCHEMA schema1 TO public;
COMMENT ON SCHEMA model IS 'for xxx migration  poc test';

CREATE SCHEMA oss_external_table AUTHORIZATION xxxpoc;

CREATE FUNCTION

由於AnalyticDB PostgreSQL版不相容Amazon Redshift的部分SQL函數，因此您需要定製或者重寫這些函數。樣本如下：

• CONVERT_TIMEZONE(a,b,c)，使用如下語句替換：

  timezone(b, timezone(a,c))

• GETDATE()，使用如下語句替換：

  current_timestamp(0):timestamp

• 使用者定義函數（UDF）替換或最佳化。Redshift樣本函數如下：

  CREATE OR REPLACE FUNCTION public.f_jdate(dt timestamp without time zone)
  RETURNS character varying AS
  '      from datetime import timedelta, datetime
         if dt.hour < 4:
                d = timedelta(days=-1)
                dt = dt + d
         return str(dt.date())'
  LANGUAGE plpythonu IMMUTABLE;
  COMMIT;

  使用如下語句替換：

  to_char(a - interval '4 hour', 'yyyy-mm-dd')

• 其他Amazon Redshift標準的函數。

  您可以在Functions and Operators中查看標準的PostgreSQL函數的用法，修改或自行實現Amazon Redshift和AnalyticDB PostgreSQL版不相容的函數，例如：

  • DATEADD()

  • DATEDIFF()

  • REGEXP_COUNT()

CREATE TABLE

• 修改表名

  Amazon Redshift的表名最大有效長度為127個位元組，而AnalyticDB PostgreSQL版的表名預設最大有效長度為63位元組。若表、函數、視圖等對象名稱超過63個有效字元時，需要裁剪名稱。

• 修改壓縮演算法

  您需要刪除Amazon Redshift建表語句中的ENCODE XXX，用如下子句代替。

  WITH (COMPRESSTYPE={ZLIB|ZSTD|RLE_TYPE|NONE})

  AnalyticDB PostgreSQL版支援的壓縮演算法，請參見壓縮。

• 修改分布鍵

  Amazon Redshift支援三種分布鍵（分配）。您需按照如下規則修改分布鍵：

  • EVEN分配：可用DISTRIBUTED RANDOMLY代替。

  • KEY分配：可用DISTRIBUTED BY (column, [ ... ] )代替。

  • ALL分配：可用DISTRIBUTED REPLICATED代替。

• 修改排序鍵（SortKey）

  刪除Amazon Redshift的排序鍵子句[ COMPOUND | INTERLEAVED ] SORTKEY (column_name [, ...] ) ]中的COMPOUND或者INTERLEAVED選項，使用如下子句代替。

  order by (column, [ ... ])

樣本如下：

• 樣本一：

  Amazon Redshift的CREATE TABLE語句：

  CREATE TABLE schema1.table1
  (
      filed1 VARCHAR(100) ENCODE lzo,
      filed2 INTEGER DISTKEY,
      filed3 INTEGER,
      filed4 BIGINT ENCODE lzo,
      filed5 INTEGER
  )
  INTERLEAVED SORTKEY
  (
      filed1,
      filed2
  );

  轉換成AnalyticDB PostgreSQL版的CREATE TABLE語句：

  CREATE TABLE schema1.table1
  (
      filed1 VARCHAR(100) ,
      filed2 INTEGER,
      filed3 INTEGER,
      filed4 BIGINT,
      filed5 INTEGER
  )
  WITH(APPENDONLY=true,ORIENTATION=column,COMPRESSTYPE=zstd)
  DISTRIBUTED BY (filed2)
  ORDER BY (filed1, filed2);
  
  -- 排序
  SORT schema1.table1;
  MULTISORT schema1.table1;

• 樣本二：

  Amazon Redshift的CREATE TABLE語句，包含ENCODE和SORTKEY選項：

  CREATE TABLE schema2.table2
  (
      filed1 VARCHAR(50) ENCODE lzo,
      filed2 VARCHAR(50) ENCODE lzo,
      filed3 VARCHAR(20) ENCODE lzo,
  )
  DISTSTYLE EVEN
  INTERLEAVED SORTKEY
  (
      filed1
  );

  轉換成AnalyticDB PostgreSQL版的CREATE TABLE語句：

  CREATE TABLE schema2.table2
  (
      filed1 VARCHAR(50),
      filed2 VARCHAR(50),
      filed3 VARCHAR(20),
  )
  WITH(APPENDONLY=true, ORIENTATION=column, COMPRESSTYPE=zstd)
  DISTRIBUTED randomly
  ORDER BY (filed1);
  
  -- 排序
  SORT schema2.table2;
  MULTISORT schema2.table2;

  說明

  更多sortkey資訊，請參見列存表使用排序鍵和粗糙集索引加速查詢。

CREATE VIEW

您需要將Amazon Redshift的CREATE VIEW語句轉換成符合AnalyticDB PostgreSQL版文法的SQL語句。CREATE VIEW與CREATE TABLE的轉換規則基本一致。