全部產品
Search

搜尋本產品

    AnalyticDB：從自建Oracle遷移至雲原生資料倉儲AnalyticDB PostgreSQL

    文件中心

    AnalyticDB：從自建Oracle遷移至雲原生資料倉儲AnalyticDB PostgreSQL

    更新時間：Feb 05, 2024

    Data Transmission Service支援將自建Oracle遷移至雲原生資料倉儲AnalyticDB PostgreSQL，協助您構建即時數倉。

    前提條件

    • 自建Oracle資料庫的版本為9i、10g、11g、12c、18c或19c版本。

    • 自建Oracle資料庫已開啟歸檔模式（ARCHIVELOG），設定合理的歸檔日誌保持周期且歸檔日誌能夠被訪問，詳情請參見ARCHIVELOG。

    • 自建Oracle資料庫已開啟Supplemental Logging，且已開啟supplemental_log_data_pk和supplemental_log_data_ui，詳情請參見Supplemental Logging。

    • 目標雲原生資料倉儲AnalyticDB PostgreSQL執行個體的建立方式，請參見建立雲原生資料倉儲AnalyticDB PostgreSQL執行個體。

    費用說明

    遷移類型

    鏈路配置費用

    公網流量費用

    結構遷移和全量資料移轉

    不收費。

    通過公網將資料移轉出阿里雲時將收費，詳情請參見計費概述。

    增量資料移轉

    收費，詳情請參見計費概述。

    注意事項

    • DTS在執行全量資料移轉時將佔用源庫和目標庫一定的讀寫資源，可能會導致資料庫的負載上升，您需要在執行資料移轉前評估資料移轉對源庫和目標庫效能的影響，同時建議您在業務低峰期執行資料移轉。

    • 對於遷移失敗的任務，DTS會觸發自動回復。在您將業務切換至目標庫之前，請務必先停止或釋放該任務，避免該任務被自動回復，導致源端資料覆蓋目標庫的資料。

    • 如自建Oracle為RAC結構，且需接入阿里雲VPC，為保證DTS任務成功運行，您需要將Oracle RAC的SCAN IP和每個節點的VIP均接入至阿里雲VPC，並且配置路由。具體步驟，請參見通過VPN網關實現本地IDC與DTS雲端服務互連。

      重要

      在DTS控制台上配置源Oracle資料庫資訊時，在資料庫地址或者IP地址只需輸入Oracle RAC的SCAN IP。

    遷移類型說明

    遷移類型

    說明

    結構遷移

    DTS將源庫中待遷移對象的結構定義遷移到目標庫。目前DTS支援的對象包括：table、index、constraint、function、sequence和view。

    警告

    • 此情境屬於異構資料庫間的資料移轉，DTS在執行結構遷移時資料類型無法完全對應，請謹慎評估資料類型的映射關係對業務的影響，詳情請參見異構資料庫間的資料類型映射關係。

    • 對於分區表，DTS會丟棄分區定義，您需要在目標庫自行定義。

    全量資料移轉

    DTS將源庫中待遷移對象的存量資料全部遷移至目標庫。

    說明

    在結構遷移和全量資料移轉完成之前，請勿對遷移對象執行DDL操作，否則可能導致遷移失敗。

    增量資料移轉

    DTS在全量資料移轉的基礎上輪詢並捕獲自建Oracle資料庫產生的redo log，將自建Oracle資料庫的累加式更新資料即時移轉至目標庫。

    在增量資料移轉階段，DTS支援同步的SQL語句如下：

    • DML：INSERT、UPDATE、DELETE

    • DDL：ADD COLUMN

    通過增量資料移轉可以實現在自建應用不停服的情況下，平滑地完成資料移轉。

    資料庫帳號要求的權限

    資料庫

    結構遷移

    全量遷移

    增量資料移轉

    自建Oracle資料庫

    Schema的Owner許可權

    Schema的Owner許可權

    DBA

    雲原生資料倉儲AnalyticDB PostgreSQL

    目標庫的讀寫權限

    目標庫的讀寫權限

    目標庫的讀寫權限

    資料庫帳號建立及授權方法：

    重要

    如果需要執行增量資料移轉，但是不允許授予DBA許可權，您可以參照以下內容為資料庫帳號授予更精細化的許可權。

    Oracle的日誌開啟和精細化授權

    重要

    如需遷移增量資料，且不允許授予DBA許可權，您需要按照如下方法開啟歸檔和補充日誌，並為Oracle資料庫帳號授予更精細化的許可權。

    1. 開啟歸檔和補充日誌。

      日誌類型

      開啟步驟

      歸檔日誌

      執行如下命令，開啟歸檔日誌：

      shutdown immediate;
startup mount;
alter database archivelog;
alter database open;
archive log list;

      補充日誌

      按業務需求，選擇開啟庫層級補充日誌或者表層級補充日誌：

      說明

      開啟庫層級補充日誌，則DTS任務運行更為穩定；開啟表層級補充日誌，則更節約源Oracle資料庫的磁碟空間。

      • 開啟庫層級補充日誌

        1. 開啟最小補充日誌：

          alter database add supplemental log data;

        2. 開啟庫級主鍵、唯一鍵補充日誌：

          alter database add supplemental log data (primary key,unique index) columns;

      • 開啟表級補充日誌

        1. 開啟最小補充日誌：

          alter database add supplemental log data;

        2. 開啟表級補充日誌（兩者選其一） ：

          • 開啟表層級主鍵補充日誌

            alter table table_name add supplemental log data (primary key) columns;

          • 開啟表層級全欄位補充日誌

            alter table tb_name add supplemental log data (all) columns;

      記錄日誌

      執行如下命令，開啟記錄日誌：

      alter database force logging;

    2. 為Oracle資料庫帳號授予更精細化的許可權。

      Oracle 9i～11g版本

      #建立資料庫帳號（以rdsdt_dtsacct為例）並進行授權
create user rdsdt_dtsacct IDENTIFIED BY rdsdt_dtsacct;
grant create session to rdsdt_dtsacct;
grant connect to rdsdt_dtsacct;
grant resource to rdsdt_dtsacct;
grant execute on sys.dbms_logmnr to rdsdt_dtsacct;
grant select on V_$LOGMNR_LOGS to rdsdt_dtsacct;
grant select on  all_objects to rdsdt_dtsacct;
grant select on  all_tab_cols to rdsdt_dtsacct;
grant select on  dba_registry to rdsdt_dtsacct;
grant select any table to rdsdt_dtsacct;
grant select any transaction to rdsdt_dtsacct;
-- v$log privileges
grant select on v_$log to rdsdt_dtsacct;
-- v$logfile privileges
grant select on v_$logfile to rdsdt_dtsacct;
-- v$archived_log privileges
grant select on v_$archived_log to rdsdt_dtsacct;
-- v$parameter privileges
grant select on v_$parameter to rdsdt_dtsacct;
-- v$database privileges
grant select on v_$database to rdsdt_dtsacct;
-- v$active_instances privileges
grant select on v_$active_instances to rdsdt_dtsacct;
-- v$instance privileges
grant select on v_$instance to rdsdt_dtsacct;
-- v$logmnr_contents privileges
grant select on v_$logmnr_contents to rdsdt_dtsacct;
-- system tables
grant select on sys.USER$ to rdsdt_dtsacct;
grant select on SYS.OBJ$ to rdsdt_dtsacct;
grant select on SYS.COL$ to rdsdt_dtsacct;
grant select on SYS.IND$ to rdsdt_dtsacct;
grant select on SYS.ICOL$ to rdsdt_dtsacct;
grant select on SYS.CDEF$ to rdsdt_dtsacct;
grant select on SYS.CCOL$ to rdsdt_dtsacct;
grant select on SYS.TABPART$ to rdsdt_dtsacct;
grant select on SYS.TABSUBPART$ to rdsdt_dtsacct;
grant select on SYS.TABCOMPART$ to rdsdt_dtsacct;
grant select_catalog_role TO rdsdt_dtsacct;

      Oracle 12c～19c（租戶式）

      #切換至PDB，建立資料庫帳號（以rdsdt_dtsacct為例）並進行授權
ALTER SESSION SET container = ORCLPDB1;
create user rdsdt_dtsacct IDENTIFIED BY rdsdt_dtsacct;
grant create  session to rdsdt_dtsacct;
grant connect  to rdsdt_dtsacct;
grant resource to rdsdt_dtsacct;
grant execute on sys.dbms_logmnr to rdsdt_dtsacct;
grant select on  all_objects to rdsdt_dtsacct;
grant select on  all_tab_cols to rdsdt_dtsacct;
grant select on  dba_registry to rdsdt_dtsacct;
grant select any table to rdsdt_dtsacct;
grant select any transaction to rdsdt_dtsacct;
-- v$log privileges
grant select on v_$log to rdsdt_dtsacct;
-- v$logfile privileges
grant select on v_$logfile to rdsdt_dtsacct;
-- v$archived_log privileges
grant select on v_$archived_log to rdsdt_dtsacct;
-- v$parameter privileges
grant select on v_$parameter to rdsdt_dtsacct;
-- v$database privileges
grant select on v_$database to rdsdt_dtsacct;
-- v$active_instances privileges
grant select on v_$active_instances to rdsdt_dtsacct;
-- v$instance privileges
grant select on v_$instance to rdsdt_dtsacct;
-- v$logmnr_contents privileges
grant select on v_$logmnr_contents to rdsdt_dtsacct;
grant select on sys.USER$ to rdsdt_dtsacct;
grant select on SYS.OBJ$ to rdsdt_dtsacct;
grant select on SYS.COL$ to rdsdt_dtsacct;
grant select on SYS.IND$ to rdsdt_dtsacct;
grant select on SYS.ICOL$ to rdsdt_dtsacct;
grant select on SYS.CDEF$ to rdsdt_dtsacct;
grant select on SYS.CCOL$ to rdsdt_dtsacct;
grant select on SYS.TABPART$ to rdsdt_dtsacct;
grant select on SYS.TABSUBPART$ to rdsdt_dtsacct;
grant select on SYS.TABCOMPART$ to rdsdt_dtsacct;
-- V$PDBS privileges
grant select on V_$PDBS to rdsdt_dtsacct;
grant select on v$database to rdsdt_dtsacct;
grant select on dba_objects to rdsdt_dtsacct;
grant select on DBA_TAB_COMMENTS to rdsdt_dtsacct;
grant select on dba_tab_cols to rdsdt_dtsacct;
grant select_catalog_role TO rdsdt_dtsacct;

#切換至CDB$ROOT，並進行帳號建立並授權
ALTER SESSION SET container = CDB$ROOT;
#建立資料庫帳號（以rdsdt_dtsacct為例）並進行授權，您需修改Oracle資料庫的預設參數。
alter session set "_ORACLE_SCRIPT"=true;
create user rdsdt_dtsacct IDENTIFIED BY rdsdt_dtsacct;
grant create session to rdsdt_dtsacct;
grant connect to rdsdt_dtsacct;
grant select on v_$logmnr_contents to rdsdt_dtsacct;
grant LOGMINING TO rdsdt_dtsacct;
grant EXECUTE_CATALOG_ROLE to rdsdt_dtsacct;
grant execute on sys.dbms_logmnr to rdsdt_dtsacct;

      Oracle 12c~19c（非租戶式）

      #建立資料庫帳號（以rdsdt_dtsacct為例）並進行授權
create user rdsdt_dtsacct IDENTIFIED BY rdsdt_dtsacct;
grant create  session to rdsdt_dtsacct;
grant connect  to rdsdt_dtsacct;
grant resource to rdsdt_dtsacct;
grant select on V_$LOGMNR_LOGS to rdsdt_dtsacct;
grant select on  all_objects to rdsdt_dtsacct;
grant select on  all_tab_cols to rdsdt_dtsacct;
grant select on  dba_registry to rdsdt_dtsacct;
grant select any table to rdsdt_dtsacct;
grant select any transaction to rdsdt_dtsacct;
grant select on v$database to rdsdt_dtsacct;
grant select on dba_objects to rdsdt_dtsacct;
grant select on DBA_TAB_COMMENTS to rdsdt_dtsacct;
grant select on dba_tab_cols to rdsdt_dtsacct;
-- v$log privileges
grant select on v_$log to rdsdt_dtsacct;
-- v$logfile privileges
grant select on v_$logfile to rdsdt_dtsacct;
-- v$archived_log privileges
grant select on v_$archived_log to rdsdt_dtsacct;
-- v$parameter privileges
grant select on v_$parameter to rdsdt_dtsacct;
-- v$database privileges
grant select on v_$database to rdsdt_dtsacct;
-- v$active_instances privileges
grant select on v_$active_instances to rdsdt_dtsacct;
-- v$instance privileges
grant select on v_$instance to rdsdt_dtsacct;
-- v$logmnr_contents privileges
grant select on v_$logmnr_contents to rdsdt_dtsacct;
grant select on sys.USER$ to rdsdt_dtsacct;
grant select on SYS.OBJ$ to rdsdt_dtsacct;
grant select on SYS.COL$ to rdsdt_dtsacct;
grant select on SYS.IND$ to rdsdt_dtsacct;
grant select on SYS.ICOL$ to rdsdt_dtsacct;
grant select on SYS.CDEF$ to rdsdt_dtsacct;
grant select on SYS.CCOL$ to rdsdt_dtsacct;
grant select on SYS.TABPART$ to rdsdt_dtsacct;
grant select on SYS.TABSUBPART$ to rdsdt_dtsacct;
grant select on SYS.TABCOMPART$ to rdsdt_dtsacct;
grant LOGMINING TO rdsdt_dtsacct;
grant EXECUTE_CATALOG_ROLE to rdsdt_dtsacct;
grant execute on sys.dbms_logmnr to rdsdt_dtsacct;
grant select_catalog_role TO rdsdt_dtsacct;
      說明

      關於Oracle（租戶式）的更多資訊，請參見Oracle資料庫多租戶。

    操作步驟

    1. 登入資料轉送控制台。

      說明

      若資料轉送控制台自動跳轉至Data Management控制台，您可以在右下角的jiqiren中單擊返回舊版，返回至舊版資料轉送控制台。

    2. 在左側導覽列，單擊資料移轉。

    3. 在遷移工作清單頁面頂部，選擇遷移的目標執行個體所屬地區。

    4. 單擊頁面右上方的建立遷移任務。

    5. 配置遷移任務的源庫和目標庫串連資訊。

      配置源和目標庫資訊

      類別

      配置

      說明

      無

      任務名稱

      DTS會自動產生一個任務名稱，建議配置具有業務意義的名稱（無唯一性要求），便於後續識別。

      源庫資訊

      執行個體類型

      根據源庫的部署位置進行選擇，本文以ECS上的自建資料庫為例介紹配置流程。

      說明

      當自建資料庫為其他執行個體類型時，您還需要執行相應的準備工作，詳情請參見準備工作概覽。

      執行個體地區

      選擇部署了Oracle資料庫的ECS執行個體所屬的地區。

      ECS執行個體ID

      選擇自建Oracle資料庫所屬的ECS執行個體ID。

      資料庫類型

      選擇Oracle。

      連接埠

      填入自建Oracle資料庫的服務連接埠，預設為1521。

      執行個體類型

      • 非RAC執行個體：選擇該項後，您還需要填寫SID資訊。

      • RAC執行個體：選擇該項後，您還需要填寫ServiceName資訊。

      本案例選擇為非RAC執行個體。

      SID

      填寫自建Oracle資料庫的SID資訊。

      資料庫帳號

      填入自建Oracle資料庫的資料庫帳號，許可權要求請參見資料庫帳號要求的權限。

      資料庫密碼

      填入該資料庫帳號的密碼。

      說明

      源庫資訊填寫完畢後，您可以單擊資料庫密碼後的測試連接來驗證填入的源庫資訊是否正確。源庫資訊填寫正確則提示測試通過；如果提示測試失敗，單擊測試失敗後的診斷，根據提示調整填寫的源庫資訊。

      目標庫資訊

      執行個體類型

      選擇AnalyticDB for PostgreSQL。

      執行個體地區

      選擇目標雲原生資料倉儲AnalyticDB PostgreSQL執行個體所屬地區。

      執行個體ID

      選擇目標雲原生資料倉儲AnalyticDB PostgreSQL執行個體ID。

      資料庫名稱

      填入遷入資料的目標資料庫名稱。

      資料庫帳號

      填入目標雲原生資料倉儲AnalyticDB PostgreSQL的資料庫帳號，許可權要求請參見資料庫帳號要求的權限。

      資料庫密碼

      填入該資料庫帳號的密碼。

    6. 配置完成後，單擊頁面右下角的授權白名單並進入下一步。

      如果源或目標資料庫是阿里雲資料庫執行個體（例如RDS MySQL、ApsaraDB for MongoDB等），DTS會自動將對應地區DTS服務的IP地址添加到阿里雲資料庫執行個體的白名單；如果源或目標資料庫是ECS上的自建資料庫，DTS會自動將對應地區DTS服務的IP地址添到ECS的安全規則中，您還需確保自建資料庫沒有限制ECS的訪問（若資料庫是叢集部署在多個ECS執行個體，您需要手動將DTS服務對應地區的IP地址添到其餘每個ECS的安全規則中）；如果源或目標資料庫是IDC自建資料庫或其他雲資料庫，則需要您手動添加對應地區DTS服務的IP地址，以允許來自DTS伺服器的訪問。DTS服務的IP地址，請參見DTS伺服器的IP位址區段。

      警告

      DTS自動添加或您手動添加DTS服務的公網IP位址區段可能會存在安全風險，一旦使用本產品代表您已理解和確認其中可能存在的安全風險，並且需要您做好基本的安全防護，包括但不限於加強帳號密碼強度防範、限制各網段開放的連接埠號碼、內部各API使用鑒權方式通訊、定期檢查並限制不需要的網段，或者使用通過內網（專線/VPN網關/智能網關）的方式接入。

    7. 選擇遷移類型、操作類型和遷移對象。

      選擇遷移類型和對象

      配置

      說明

      遷移類型

      • 如果只需要執行全量遷移，同時選中結構遷移和全量資料移轉。

      • 如果需要執行不停機遷移，同時選中結構遷移、全量資料移轉和增量資料移轉。

      說明

      如果沒有選擇增量資料移轉，為保障資料一致性，資料移轉期間請勿在源庫中寫入新的資料。

      操作類型

      根據業務需求，選擇增量資料移轉階段需要同步的操作類型，預設全部選中。

      遷移對象

      在遷移對象框中單擊待遷移的對象，然後單擊向右小箭頭表徵圖將其移動至已選擇對象框。

      說明

      • 遷移對象選擇的粒度為Schema、表、列。

      • 預設情況下，遷移對象在目標庫中的名稱與源庫保持一致。如果您需要改變遷移對象在目標庫中的名稱，需要使用對象名映射功能，詳情請參見庫表列映射。

      • 如果使用了對象名映射功能，可能會導致依賴這個對象的其他對象遷移失敗。

      映射名稱更改

      如需更改遷移對象在目標執行個體中的名稱，請使用對象名映射功能，詳情請參見庫表列映射。

      源、目標庫無法串連重試時間

      預設重試12小時，您也可以自訂重試時間。如果DTS在設定的時間內重新串連上源、目標庫，遷移任務將自動回復。否則，遷移任務將失敗。

      說明

      由於串連重試期間，DTS將收取任務運行費用，建議您根據業務需要自訂重試時間，或者在源和目標庫執行個體釋放後儘快釋放DTS執行個體。

      為目標對象名添加引號

      選擇是否需要為目標對象名添加引號。如果選擇為是，且存在下述情況，DTS在結構初始化階段和增量資料移轉階段會為目標對象添加單引號或雙引號：

      • 源庫所屬的業務環境對大小寫敏感且大小寫混用。

      • 源表名不是以字母開頭，且包含字母、數字或特殊字元以外的字元。

        說明

        特殊字元僅支援底線（_），井號（#）和貨幣符號（$）。

      • 待遷移的Schema、表或列名稱是目標庫的關鍵字、保留字或非法字元。

    8. 設定待遷移的表在雲原生資料倉儲AnalyticDB PostgreSQL中的主鍵列和分布鍵資訊。

      Oracle遷移ADBPG進階配置

      說明

      • 關於主鍵列和分布鍵的詳細說明，請參見表的約束定義和表分布鍵定義。

      • 如果存在無主鍵表，本頁面將出現無主鍵表全部設定ROWID作為主鍵和分布鍵選項，選中該選項後，DTS會在目標表中增加ROWID欄位作為主鍵和分布鍵。

    9. 上述配置完成後，單擊頁面右下角的預檢查並啟動。

      說明

      • 在遷移任務正式啟動之前，會先進行預檢查。只有預檢查通過後，才能成功啟動遷移任務。

      • 如果預檢查失敗，單擊具體檢查項後的提示，查看失敗詳情。

        • 您可以根據提示修複後重新進行預檢查。

        • 如無需修複警示檢測項，您也可以選擇確認屏蔽、忽略警示項並重新進行預檢查，跳過警示檢測項重新進行預檢查。

    10. 預檢查通過後，單擊下一步。

    11. 在彈出的購買配置確認對話方塊，選擇鏈路規格並選中資料轉送（隨用隨付）服務條款。

    12. 單擊購買並啟動，遷移任務正式開始。

      • 結構遷移+全量資料移轉

        請勿手動結束遷移任務，否則可能會導致資料不完整。您只需等待遷移任務完成即可，遷移任務會自動結束。

      • 結構遷移+全量資料移轉+增量資料移轉

        遷移任務不會自動結束，您需要手動結束遷移任務。

        重要

        請選擇合適的時間手動結束遷移任務，例如業務低峰期或準備將業務切換至目的地組群時。

        1. 觀察遷移任務的進度變更為增量遷移，並顯示為無延遲狀態時，將源庫停寫幾分鐘，此時增量遷移的狀態可能會顯示延遲的時間。

        2. 等待遷移任務的增量遷移再次進入無延遲狀態後，手動結束遷移任務。結束增量遷移任務