全部產品
Search

搜尋本產品

    Data Transmission Service：從自建Oracle遷移至阿里雲訊息佇列Kafka

    文件中心

    Data Transmission Service：從自建Oracle遷移至阿里雲訊息佇列Kafka

    更新時間：Jul 06, 2024

    通過Data Transmission Service，您可以將自建Oracle遷移至阿里雲訊息佇列Kafka版或自建Kafka，從而擴充訊息處理能力。本文以自建Oracle資料庫遷移至阿里雲訊息佇列Kafka執行個體為例，介紹資料移轉任務的配置流程。

    前提條件

    • 自建Oracle資料庫的版本為9i、10g、11g、12c、18c或19c版本。
    • 自建Oracle資料庫已開啟Supplemental Logging，且要求supplemental_log_data_pk，supplemental_log_data_ui已開啟，詳情請參見Supplemental Logging。
    • 自建Oracle資料庫已開啟ARCHIVELOG（歸檔模式），設定合理的歸檔日誌保持周期，並且確保歸檔日誌能夠被訪問，詳情請參見ARCHIVELOG。
    • 自建Oracle資料庫為源庫時，您需要先執行相應的準備工作，詳情請參見準備工作概覽。
    • 自建Oracle資料庫中的待遷移表需具備主鍵或非空唯一索引。
    • 阿里雲訊息佇列Kafka的版本為0.10.1.0~2.x，自建Kafka版本為0.10.1.0~2.7.0版本
    • 目標Kafka執行個體的儲存空間須大於自建Oracle資料庫佔用的儲存空間。
    • 目標Kafka執行個體中已建立用於接收同步資料的Topic，詳情請參見建立Topic。

    注意事項

    • DTS在執行全量資料移轉時將佔用源庫和目標庫一定的讀寫資源，可能會導致資料庫的負載上升，在資料庫效能較差、規格較低或業務量較大的情況下（例如源庫有大量慢SQL、存在無主鍵表或目標庫存在死結等），可能會加重資料庫壓力，甚至導致資料庫服務不可用。因此您需要在執行資料移轉前評估源庫和目標庫的效能，同時建議您在業務低峰期執行資料移轉（例如源庫和目標庫的CPU負載在30%以下）。

    • 對於遷移失敗的任務，DTS會觸發自動回復。在您將業務切換至目標庫之前，請務必先停止或釋放該任務，避免該任務被自動回復，導致源端資料覆蓋目標庫的資料。

    • 如自建Oracle為RAC結構，且需接入阿里雲VPC，為保證DTS任務成功運行，您需要將Oracle RAC的SCAN IP和每個節點的VIP均接入至阿里雲VPC，並且配置路由。具體步驟，請參見通過VPN網關實現本地IDC與DTS雲端服務互連。

      重要

      在DTS控制台上配置源Oracle資料庫資訊時，在資料庫地址或者IP地址只需輸入Oracle RAC的SCAN IP。

    • 如果您的自建Oracle版本為12c及以上，待遷移表的名稱長度需不超過30個位元組。

    • 如果源庫中待遷移的表沒有主鍵或唯一約束，且所有欄位沒有唯一性，可能會導致目標資料庫中出現重複資料。

    費用說明

    遷移類型

    鏈路配置費用

    公網流量費用

    結構遷移和全量資料移轉

    不收費。

    通過公網將資料移轉出阿里雲時將收費，詳情請參見計費概述。

    增量資料移轉

    收費，詳情請參見計費概述。

    遷移類型說明

    遷移類型說明
    結構遷移DTS將源庫中待遷移對象的結構定義遷移到目標庫。當前情境DTS僅支援表結構遷移。
    全量資料移轉DTS將源庫中待遷移對象的存量資料全部遷移至目標庫。
    說明 在結構遷移和全量資料移轉完成之前，請勿對遷移對象執行DDL操作，否則可能導致遷移失敗。
    增量資料移轉DTS在全量資料移轉的基礎上輪詢並捕獲自建Oracle資料庫產生的redo log，將自建Oracle資料庫的累加式更新資料即時移轉至目標庫。 通過增量資料移轉可以實現在自建應用不停服的情況下，平滑地完成資料移轉。

    在增量資料移轉階段，DTS支援同步的DML、DDL語句。

    準備工作

    登入待遷移的Oracle資料庫，建立用於採集資料的帳號並授權。

    說明 如您已建立包含下述許可權的帳號，可跳過本步驟。
    資料庫結構遷移全量遷移增量資料移轉
    自建Oracle資料庫Schema的Owner許可權Schema的Owner許可權DBA

    資料庫帳號建立及授權方法：

    自建Oracle資料庫請參見CREATE USER和GRANT。

    Oracle的日誌開啟和精細化授權

    重要

    如需遷移增量資料，且不允許授予DBA許可權，您需要按照如下方法開啟歸檔和補充日誌，並為Oracle資料庫帳號授予更精細化的許可權。

    1. 開啟歸檔和補充日誌。

      日誌類型

      開啟步驟

      歸檔日誌

      執行如下命令，開啟歸檔日誌：

      shutdown immediate;
startup mount;
alter database archivelog;
alter database open;
archive log list;

      補充日誌

      按業務需求，選擇開啟庫層級補充日誌或者表層級補充日誌：

      說明

      開啟庫層級補充日誌，則DTS任務運行更為穩定；開啟表層級補充日誌，則更節約源Oracle資料庫的磁碟空間。

      • 開啟庫層級補充日誌

        1. 開啟最小補充日誌：

          alter database add supplemental log data;

        2. 開啟庫級主鍵、唯一鍵補充日誌：

          alter database add supplemental log data (primary key,unique index) columns;

      • 開啟表級補充日誌

        1. 開啟最小補充日誌：

          alter database add supplemental log data;

        2. 開啟表級補充日誌（兩者選其一） ：

          • 開啟表層級主鍵補充日誌

            alter table table_name add supplemental log data (primary key) columns;

          • 開啟表層級全欄位補充日誌

            alter table tb_name add supplemental log data (all) columns;

      記錄日誌

      執行如下命令，開啟記錄日誌：

      alter database force logging;

    2. 為Oracle資料庫帳號授予更精細化的許可權。

      Oracle 9i～11g版本

      #建立資料庫帳號（以rdsdt_dtsacct為例）並進行授權
create user rdsdt_dtsacct IDENTIFIED BY rdsdt_dtsacct;
grant create session to rdsdt_dtsacct;
grant connect to rdsdt_dtsacct;
grant resource to rdsdt_dtsacct;
grant execute on sys.dbms_logmnr to rdsdt_dtsacct;
grant select on V_$LOGMNR_LOGS to rdsdt_dtsacct;
grant select on  all_objects to rdsdt_dtsacct;
grant select on  all_tab_cols to rdsdt_dtsacct;
grant select on  dba_registry to rdsdt_dtsacct;
grant select any table to rdsdt_dtsacct;
grant select any transaction to rdsdt_dtsacct;
-- v$log privileges
grant select on v_$log to rdsdt_dtsacct;
-- v$logfile privileges
grant select on v_$logfile to rdsdt_dtsacct;
-- v$archived_log privileges
grant select on v_$archived_log to rdsdt_dtsacct;
-- v$parameter privileges
grant select on v_$parameter to rdsdt_dtsacct;
-- v$database privileges
grant select on v_$database to rdsdt_dtsacct;
-- v$active_instances privileges
grant select on v_$active_instances to rdsdt_dtsacct;
-- v$instance privileges
grant select on v_$instance to rdsdt_dtsacct;
-- v$logmnr_contents privileges
grant select on v_$logmnr_contents to rdsdt_dtsacct;
-- system tables
grant select on sys.USER$ to rdsdt_dtsacct;
grant select on SYS.OBJ$ to rdsdt_dtsacct;
grant select on SYS.COL$ to rdsdt_dtsacct;
grant select on SYS.IND$ to rdsdt_dtsacct;
grant select on SYS.ICOL$ to rdsdt_dtsacct;
grant select on SYS.CDEF$ to rdsdt_dtsacct;
grant select on SYS.CCOL$ to rdsdt_dtsacct;
grant select on SYS.TABPART$ to rdsdt_dtsacct;
grant select on SYS.TABSUBPART$ to rdsdt_dtsacct;
grant select on SYS.TABCOMPART$ to rdsdt_dtsacct;
grant select_catalog_role TO rdsdt_dtsacct;

      Oracle 12c～19c（租戶式）

      #切換至PDB，建立資料庫帳號（以rdsdt_dtsacct為例）並進行授權
ALTER SESSION SET container = ORCLPDB1;
create user rdsdt_dtsacct IDENTIFIED BY rdsdt_dtsacct;
grant create  session to rdsdt_dtsacct;
grant connect  to rdsdt_dtsacct;
grant resource to rdsdt_dtsacct;
grant execute on sys.dbms_logmnr to rdsdt_dtsacct;
grant select on  all_objects to rdsdt_dtsacct;
grant select on  all_tab_cols to rdsdt_dtsacct;
grant select on  dba_registry to rdsdt_dtsacct;
grant select any table to rdsdt_dtsacct;
grant select any transaction to rdsdt_dtsacct;
-- v$log privileges
grant select on v_$log to rdsdt_dtsacct;
-- v$logfile privileges
grant select on v_$logfile to rdsdt_dtsacct;
-- v$archived_log privileges
grant select on v_$archived_log to rdsdt_dtsacct;
-- v$parameter privileges
grant select on v_$parameter to rdsdt_dtsacct;
-- v$database privileges
grant select on v_$database to rdsdt_dtsacct;
-- v$active_instances privileges
grant select on v_$active_instances to rdsdt_dtsacct;
-- v$instance privileges
grant select on v_$instance to rdsdt_dtsacct;
-- v$logmnr_contents privileges
grant select on v_$logmnr_contents to rdsdt_dtsacct;
grant select on sys.USER$ to rdsdt_dtsacct;
grant select on SYS.OBJ$ to rdsdt_dtsacct;
grant select on SYS.COL$ to rdsdt_dtsacct;
grant select on SYS.IND$ to rdsdt_dtsacct;
grant select on SYS.ICOL$ to rdsdt_dtsacct;
grant select on SYS.CDEF$ to rdsdt_dtsacct;
grant select on SYS.CCOL$ to rdsdt_dtsacct;
grant select on SYS.TABPART$ to rdsdt_dtsacct;
grant select on SYS.TABSUBPART$ to rdsdt_dtsacct;
grant select on SYS.TABCOMPART$ to rdsdt_dtsacct;
-- V$PDBS privileges
grant select on V_$PDBS to rdsdt_dtsacct;
grant select on v$database to rdsdt_dtsacct;
grant select on dba_objects to rdsdt_dtsacct;
grant select on DBA_TAB_COMMENTS to rdsdt_dtsacct;
grant select on dba_tab_cols to rdsdt_dtsacct;
grant select_catalog_role TO rdsdt_dtsacct;

#切換至CDB$ROOT，並進行帳號建立並授權
ALTER SESSION SET container = CDB$ROOT;
#建立資料庫帳號（以rdsdt_dtsacct為例）並進行授權，您需修改Oracle資料庫的預設參數。
alter session set "_ORACLE_SCRIPT"=true;
create user rdsdt_dtsacct IDENTIFIED BY rdsdt_dtsacct;
grant create session to rdsdt_dtsacct;
grant connect to rdsdt_dtsacct;
grant select on v_$logmnr_contents to rdsdt_dtsacct;
grant LOGMINING TO rdsdt_dtsacct;
grant EXECUTE_CATALOG_ROLE to rdsdt_dtsacct;
grant execute on sys.dbms_logmnr to rdsdt_dtsacct;

      Oracle 12c~19c（非租戶式）

      #建立資料庫帳號（以rdsdt_dtsacct為例）並進行授權
create user rdsdt_dtsacct IDENTIFIED BY rdsdt_dtsacct;
grant create  session to rdsdt_dtsacct;
grant connect  to rdsdt_dtsacct;
grant resource to rdsdt_dtsacct;
grant select on V_$LOGMNR_LOGS to rdsdt_dtsacct;
grant select on  all_objects to rdsdt_dtsacct;
grant select on  all_tab_cols to rdsdt_dtsacct;
grant select on  dba_registry to rdsdt_dtsacct;
grant select any table to rdsdt_dtsacct;
grant select any transaction to rdsdt_dtsacct;
grant select on v$database to rdsdt_dtsacct;
grant select on dba_objects to rdsdt_dtsacct;
grant select on DBA_TAB_COMMENTS to rdsdt_dtsacct;
grant select on dba_tab_cols to rdsdt_dtsacct;
-- v$log privileges
grant select on v_$log to rdsdt_dtsacct;
-- v$logfile privileges
grant select on v_$logfile to rdsdt_dtsacct;
-- v$archived_log privileges
grant select on v_$archived_log to rdsdt_dtsacct;
-- v$parameter privileges
grant select on v_$parameter to rdsdt_dtsacct;
-- v$database privileges
grant select on v_$database to rdsdt_dtsacct;
-- v$active_instances privileges
grant select on v_$active_instances to rdsdt_dtsacct;
-- v$instance privileges
grant select on v_$instance to rdsdt_dtsacct;
-- v$logmnr_contents privileges
grant select on v_$logmnr_contents to rdsdt_dtsacct;
grant select on sys.USER$ to rdsdt_dtsacct;
grant select on SYS.OBJ$ to rdsdt_dtsacct;
grant select on SYS.COL$ to rdsdt_dtsacct;
grant select on SYS.IND$ to rdsdt_dtsacct;
grant select on SYS.ICOL$ to rdsdt_dtsacct;
grant select on SYS.CDEF$ to rdsdt_dtsacct;
grant select on SYS.CCOL$ to rdsdt_dtsacct;
grant select on SYS.TABPART$ to rdsdt_dtsacct;
grant select on SYS.TABSUBPART$ to rdsdt_dtsacct;
grant select on SYS.TABCOMPART$ to rdsdt_dtsacct;
grant LOGMINING TO rdsdt_dtsacct;
grant EXECUTE_CATALOG_ROLE to rdsdt_dtsacct;
grant execute on sys.dbms_logmnr to rdsdt_dtsacct;
grant select_catalog_role TO rdsdt_dtsacct;
      說明

      關於Oracle（租戶式）的更多資訊，請參見Oracle資料庫多租戶。

    操作步驟

    1. 登入資料轉送控制台。

      說明

      若資料轉送控制台自動跳轉至Data Management控制台，您可以在右下角的jiqiren中單擊返回舊版，返回至舊版資料轉送控制台。

    2. 在左側導覽列，單擊資料移轉。

    3. 在遷移工作清單頁面頂部，選擇遷移的目標執行個體所屬地區。

    4. 單擊頁面右上方的建立遷移任務。

    5. 配置遷移任務的源庫和目標庫串連資訊。
      源庫和目標庫資訊
      類別配置說明
      無任務名稱DTS會自動產生一個任務名稱，建議配置具有業務意義的名稱（無唯一性要求），便於後續識別。
      源庫資訊執行個體類型根據源庫的部署位置進行選擇，本文以有公網IP的自建資料庫為例介紹配置流程。
      說明 當自建資料庫為其他執行個體類型時，您還需要執行相應的準備工作，詳情請參見準備工作概覽。
      執行個體地區當執行個體類型選擇為有公網IP的自建資料庫時，執行個體地區無需設定。
      說明 如果您的自建Oracle資料庫進行了白名單安全設定，您需要在執行個體地區配置項後，單擊擷取DTS IP段來擷取到DTS伺服器的IP地址，並將擷取到的IP地址加入自建Oracle資料庫的白名單安全設定中。
      資料庫類型選擇Oracle。
      主機名稱或IP地址填入自建Oracle資料庫的訪問地址，此處填入公網IP地址。
      連接埠填入自建Oracle資料庫的服務連接埠，預設為1521。
      說明 本案例中，該服務連接埠已開放至公網。
      執行個體類型
      • 非RAC執行個體：選擇該項後，您還需要填寫SID資訊。
      • RAC執行個體：選擇該項後，您還需要填寫ServiceName資訊。
      資料庫帳號填入自建Oracle的資料庫帳號，許可權要求請參見準備工作。
      資料庫密碼填入該資料庫帳號對應的密碼。
      說明

      源庫資訊填寫完畢後，您可以單擊資料庫密碼後的測試連接來驗證填入的源庫資訊是否正確。源庫資訊填寫正確則提示測試通過；如果提示測試失敗，單擊測試失敗後的診斷，根據提示調整填寫的源庫資訊。

      目標庫資訊執行個體類型選擇通過專線/VPN網關/Smart Access Gateway接入的自建資料庫。
      說明 由於DTS暫時不支援直接選擇訊息佇列Kafka版，此處將其作為自建Kafka來配置資料同步。
      執行個體地區選擇目標Kafka執行個體所屬地區。
      已和源端資料庫聯通的VPC選擇目標Kafka執行個體所屬的專用網路ID。您可以在Kafka執行個體的基本資料頁面中查看到專用網路ID。kafka_vpcid
      資料庫類型選擇為Kafka。
      IP地址填入Kafka執行個體預設存取點中的任意一個IP地址。
      說明 您可以在Kafka執行個體的基本資料頁面中，擷取預設存取點對應的IP地址。
      連接埠Kafka執行個體的服務連接埠，預設為9092。
      資料庫帳號填入Kafka執行個體的使用者名稱。
      說明 如果Kafka執行個體的執行個體類型為VPC執行個體，無需配置資料庫帳號和資料庫密碼。
      資料庫密碼填入該使用者名稱對應的密碼。
      Topic單擊右側的擷取Topic列表，然後在下拉框中選擇具體的Topic。
      儲存DDL的Topic單擊右側的擷取Topic列表，然後在下拉框中選擇具體的Topic，用於儲存DDL資訊。如果未指定，DDL資訊預設儲存在Topic選擇的Topic中。
      Kafka版本根據Kafka執行個體版本，選擇對應的版本資訊。
      串連方式根據業務及安全需求，選擇非加密串連或SCRAM-SHA-256。
      是否使用Kafka Schema RegistryKafka Schema Registry是中繼資料提供服務層，提供了一個RESTful介面，用於儲存和檢索Avro Schema。
      • 否：不使用Kafka Schema Registry。
      • 是：使用Kafka Schema Registry。您需要輸入Avro Schema在Kafka Schema Registry註冊的URL或IP。
    6. 配置完成後，單擊頁面右下角的授權白名單並進入下一步。
      如果源或目標資料庫是阿里雲資料庫執行個體（例如RDS MySQL、ApsaraDB for MongoDB等），DTS會自動將對應地區DTS服務的IP地址添加到阿里雲資料庫執行個體的白名單；如果源或目標資料庫是ECS上的自建資料庫，DTS會自動將對應地區DTS服務的IP地址添到ECS的安全規則中，您還需確保自建資料庫沒有限制ECS的訪問（若資料庫是叢集部署在多個ECS執行個體，您需要手動將DTS服務對應地區的IP地址添到其餘每個ECS的安全規則中）；如果源或目標資料庫是IDC自建資料庫或其他雲資料庫，則需要您手動添加對應地區DTS服務的IP地址，以允許來自DTS伺服器的訪問。DTS服務的IP地址，請參見DTS伺服器的IP位址區段。
      警告

      DTS自動添加或您手動添加DTS服務的公網IP位址區段可能會存在安全風險，一旦使用本產品代表您已理解和確認其中可能存在的安全風險，並且需要您做好基本的安全防護，包括但不限於加強帳號密碼強度防範、限制各網段開放的連接埠號碼、內部各API使用鑒權方式通訊、定期檢查並限制不需要的網段，或者使用通過內網（專線/VPN網關/智能網關）的方式接入。

    7. 配置遷移類型、策略和對象資訊。
      遷移對象配置
      配置說明
      遷移類型同時選中結構遷移、全量資料移轉和增量資料移轉。
      重要 如果未選中增量資料移轉，為保障資料一致性，全量資料移轉期間請勿在源庫中寫入新的資料。
      投遞到kafka的資料格式遷移到Kafka叢集中的資料以avro格式儲存，您需要根據avro schema定義進行資料解析，schema定義詳情請參見DTS avro schema定義。
      遷移到Kafka Partition策略根據業務需求選擇遷移的策略，詳細介紹請參見Kafka Partition遷移策略說明。
      遷移對象在遷移對象框中單擊待遷移的表，然後單擊向右小箭頭表徵圖將其移動至已選擇對象框。
      說明 DTS會自動將表名映射為步驟5選擇的Topic名稱。如需更換遷移的目標Topic，請參見庫表列映射。
      映射名稱更改如需更改遷移對象在目標執行個體中的名稱，請使用對象名映射功能，詳情請參見庫表列映射。
      源、目標庫無法串連重試時預設重試12小時，您也可以自訂重試時間。如果DTS在設定的時間內重新串連上源、目標庫，遷移任務將自動回復。否則，遷移任務將失敗。
      說明 由於串連重試期間，DTS將收取任務運行費用，建議您根據業務需要自訂重試時間，或者在源和目標庫執行個體釋放後儘快釋放DTS執行個體。

    8. 單擊頁面右下角的預檢查並啟動。

      重要

      • 在資料移轉任務正式啟動之前，會先進行預檢查。只有預檢查通過後，才能成功啟動資料移轉任務。

      • 如果預檢查失敗，單擊具體檢查項後的提示，查看失敗詳情。

        • 您可以根據提示修複後重新進行預檢查。

        • 如無需修複警示檢測項，您也可以選擇確認屏蔽、忽略警示項並重新進行預檢查，跳過警示檢測項重新進行預檢查。

    9. 預檢查通過後，單擊下一步。

    10. 在彈出的購買配置確認對話方塊，選擇鏈路規格並選中資料轉送（隨用隨付）服務條款。

    11. 單擊購買並啟動，遷移任務正式開始。

    結束遷移任務

    警告

    為儘可能地減少業務切換帶來的影響，您可以建立回退方案（將目標庫的增量資料即時移轉回源庫），詳情請參見業務切換流程。如果不涉及業務切換，您可以結束遷移任務。

    • 全量資料移轉

      請勿手動結束遷移任務，否則可能導致資料不完整。您只需等待遷移任務完成即可，遷移任務會自動結束。

    • 增量資料移轉

      遷移任務不會自動結束，您需要手動結束遷移任務。

      1. 觀察遷移任務的進度變更為增量遷移，並顯示為無延遲狀態時，將源庫停寫幾分鐘，此時增量遷移的狀態可能會顯示延遲的時間。
      2. 等待遷移任務的增量遷移再次進入無延遲狀態後，手動結束遷移任務。結束增量遷移任務

    後續步驟

    用於資料移轉的資料庫帳號擁有讀寫權限，為保障資料庫安全性，請在資料移轉完成後，刪除自建Oracle資料庫中用於資料移轉的資料庫帳號，以及修改目標Kafka執行個體中RAM使用者的許可權。具體步驟，請參見RAM主子帳號授權。