DataWorks：Oracle資料來源

支援的版本

離線讀寫

即時讀

• 支援：

  11g R2 以上、12c non cdb、18c non cdb或19c non cdb版本資料庫。

• 不支援：

  12c cdb、18c cdb及19c cdb版本資料庫。

使用限制

• 當前Data Integration同步資料時，僅支援UTF8、AL32UTF8、AL16UTF16及ZHS16GBK編碼格式。

• Oracle單一實例，當天即時同步最大支援同步500G增量資料。

• DataWorks的Data Integration即時同步Oracle資料是基於Oracle Logminer日誌分析工具實現的，Oracle僅支援在主庫中為主庫或備庫開啟補充日誌。

• 離線同步支援閱讀檢視表。

支援的欄位類型

資料同步前準備：Oracle環境準備

在DataWorks上進行資料同步前，您需要參考本文提前在Oracle側進行資料同步環境準備，以便在DataWorks上進行Oracle資料同步任務配置與執行時服務正常。以下為您介紹Oracle同步前的相關環境準備。

準備工作1：確認Oracle資料庫版本

準備工作2：建立帳號並配置帳號許可權

準備工作3：開啟歸檔日誌、補充日誌並切換Redo記錄檔

1. 開啟歸檔日誌，SQL語句如下。

   shutdown immediate;
   startup mount;
   alter database archivelog;
   alter database open;

2. 開啟補充日誌。

   您可以根據需要選擇開啟合適的補充日誌，SQL語句如下。

   alter database add supplemental log data(primary key) columns; //為資料庫的主鍵列開啟補充日誌。
   alter database add supplemental log data(unique) columns; //為資料庫的唯一索引列開啟補充日誌。

3. 切換Redo記錄檔。

   開啟補充日誌後，您需要多次（一般建議執行5次）執行如下命令，切換Redo記錄檔。

   alter system switch logfile;

   說明

   多次執行上述命令切換Redo記錄檔，是保證當前記錄檔被寫滿後可以切換至下一個記錄檔。使執行過的操作記錄不會丟失，便於後續恢複資料。

準備工作4：檢查資料庫的字元編碼

select * from v$nls_parameters where PARAMETER IN ('NLS_CHARACTERSET', 'NLS_NCHAR_CHARACTERSET');

準備工作5：檢查資料庫表的資料類型

select COLUMN_NAME,DATA_TYPE from all_tab_columns where TABLE_NAME='tablename'; 

資料同步任務開發：Oracle同步流程引導

Oracle資料同步任務的配置入口和通用配置流程指導可參見下文的配置指導，詳細的配置參數解釋可在配置介面查看對應參數的文案提示。

建立資料來源

在進行資料同步任務開發時，您需要在DataWorks上建立一個對應的資料來源，操作流程請參見建立並管理資料來源。

單表離線同步任務配置指導

• 操作流程請參見通過嚮導模式配置離線同步任務、通過指令碼模式配置離線同步任務。

• 指令碼模式配置的全量參數和指令碼Demo請參見下文的附錄：Oracle指令碼Demo與參數說明。

單表即時同步任務配置指導

操作流程請參見DataStudio側即時同步任務配置。

整庫離線、整庫（即時）全增量、整庫（即時）分庫分表等整庫層級同步配置指導

操作流程請參見Data Integration側同步任務配置。

常見問題

• 即時同步Oracle、PolarDB、MySQL任務重複報錯

• 主備同步資料恢複問題

  主備同步問題指Oracle使用主從災備，當主庫報錯切換至備庫後，備庫從主庫不斷地通過binlog恢複資料。由於主備資料同步存在一定的時間差，在網路延遲等特定情況下，會導致備庫同步恢複的資料與主庫有較大差別，從備庫同步的資料不是一份目前時間的完整鏡像。

• 一致性約束

  Oracle在資料存放區劃分中屬於RDBMS系統，對外可以提供強一致性資料查詢介面。例如，在一次同步任務啟動啟動並執行過程中，當該庫存在其它資料寫入方寫入資料時，由於資料庫本身的快照特性，Oracle Reader不會擷取到寫入的新資料。

  上述是在Oracle Reader單執行緒模式下實現資料同步的一致性。Oracle Reader根據您配置的資訊並發抽取資料，則不能嚴格保證資料一致性。

  當Oracle Reader根據splitPk進行資料切分後，會先後啟動多個並發任務完成資料同步。多個並發任務相互之間不屬於同一個讀事務，同時多個並發任務存在時間間隔。因此該資料並不是完整的、一致的資料快照資訊。

  針對多線程的一致性快照需求，目前在技術上無法實現，只能從工程角度解決。工程化的方式存在取捨，在此提供以下解決思路，您可以根據自身情況進行選擇。

  • 使用單線程同步，即不再進行資料切片。缺點是速度比較慢，但是能夠很好保證一致性。

  • 關閉其它資料寫入方，保證當前資料為待用資料。例如，鎖表、關閉備庫同步等。缺點是可能影響線上業務。

• 資料庫編碼問題

  Oracle Reader底層使用JDBC進行資料幫浦，JDBC天然適配各類編碼，並在底層進行了編碼轉換。因此Oracle Reader無需您指定編碼，可以自動擷取編碼並轉碼。

• 增量資料同步的方式

  Oracle Reader使用JDBC SELECT陳述式完成資料幫浦工作，因此您可以使用SELECT…WHERE…進行增量資料幫浦，方式如下：

  • 資料庫線上應用寫入資料庫時，填充modify欄位為更改時間戳記，包括新增、更新、刪除（邏輯刪除）。對於該類應用，Oracle Reader只需要where條件後跟上一同步階段時間戳記即可。

  • 對於新增流水型資料，Oracle Reader在where條件後跟上一階段最大自增ID即可。

  對於業務上無欄位區分新增、修改資料的情況，Oracle Reader無法進行增量資料同步，只能同步全量資料。

• SQL安全性

  Oracle Reader為您提供querySql功能，您可以自行實現SELECT抽取語句。Oracle Reader本身對querySql不進行任何安全性校正。

附錄：Oracle指令碼Demo與參數說明

附錄：離線任務指令碼配置方式

如果您配置離線任務時使用指令碼模式的方式進行配置，您需要在任務指令碼中按照指令碼的統一格式要求編寫指令碼中的reader參數和writer參數，指令碼模式的統一要求請參見通過指令碼模式配置離線同步任務，以下為您介紹指令碼模式下的資料來源的Reader參數和Writer參數的指導詳情。

Oracle Reader指令碼Demo

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "oracle",
            "parameter": {
                "selectedDatabase": "AUTOTEST",
                "indexes": [],
                "datasource": "oracle_test",
                "envType": 0,
                "useSpecialSecret": true,
                "column": [
                    "id"
                ],
                "where": "",
                "splitPk": "id",
                "encoding": "UTF-8",
                "table": "AUTOTEST.table01"
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "odps",
            "parameter": {
            },
            "name": "Writer",
            "category": "writer"
        },
        {
            "name": "Processor",
            "stepType": null,
            "category": "processor",
            "copies": 1,
            "parameter": {
                "nodes": [],
                "edges": [],
                "groups": [],
                "version": "2.0"
            }
        }
    ],
    "setting": {
        "executeMode": null,
        "errorLimit": {
            "record": ""
        },
        "speed": {
            "concurrent": 2,
            "throttle": false
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

Oracle Reader指令碼參數

Oracle Writer指令碼Demo

{
    "type":"job",
    "version":"2.0",//版本號碼。
    "steps":[
        { 
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"oracle",//外掛程式名。
            "parameter":{
                "postSql":[],//執行資料同步任務之後執行的SQL語句。
                "datasource":"",
                "session":[],//資料庫連接會話參數。
                "column":[//欄位。
                    "id",
                    "name"
                ],
                "encoding":"UTF-8",//編碼格式。
                "batchSize":1024,//一次性批量提交的記錄數大小。
                "table":"",//表名。
                "preSql":[]//執行資料同步任務之前執行的SQL語句。
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"//錯誤記錄數。
        },
        "speed":{
            "throttle":true,//當throttle值為false時，mbps參數不生效，表示不限流；當throttle值為true時,表示限流。
            "concurrent":1, //作業並發數。
            "mbps":"12"//限流，此處1mbps = 1MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Oracle Writer指令碼參數