DataWorks：DB2資料來源

支援的版本

DB2 Reader和DB2 Writer使用的DB2驅動版本為IBM Data Server Driver for JDBC and SQLJ 4.11.77。DB2驅動和資料庫服務之間的版本映射請參見官網文檔。

使用限制

• DB2 Reader和DB2 Writer僅支援使用新增和使用獨享Data Integration資源群組，不支援使用公用資源群組和自訂資源群組。

• DB2 Writer通過資料同步架構擷取Reader產生的協議資料，通過insert into（當主鍵/唯一性索引衝突時，衝突的行會寫不進去）語句，寫入資料至DB2。另外出於效能考慮採用了PreparedStatement + Batch，並且設定了rewriteBatchedStatements=true，將資料緩衝到線程上下文Buffer中，當Buffer累計到預定閾值時，才發起寫入請求。

  說明

  整個任務至少需要具備insert into的許可權，是否需要其它許可權，取決於您配置任務時在preSql和postSql中指定的語句。

• 離線同步支援閱讀檢視表。

• 目前不支援DB2 AES密碼編譯演算法。

支援的欄位類型

離線讀寫

DB2 Reader和DB2 Writer支援大部分DB2類型，但也存在個別類型沒有支援的情況，請注意檢查您的資料類型。

資料同步任務開發

DB2資料同步任務的配置入口和通用配置流程指導可參見下文的配置指導，詳細的配置參數解釋可在配置介面查看對應參數的文案提示。

建立資料來源

在進行資料同步任務開發時，您需要在DataWorks上建立一個對應的資料來源，操作流程請參見建立並管理資料來源。

單表離線同步任務配置指導

• 操作流程請參見通過嚮導模式配置離線同步任務、通過指令碼模式配置離線同步任務。

• 指令碼模式配置的全量參數和指令碼Demo請參見下文的附錄：指令碼Demo與參數說明。

整庫離線讀同步配置指導

操作流程請參見Data Integration側同步任務配置。

常見問題

• 主備同步資料恢複問題

  主備同步問題指DB2使用主從災備，備庫從主庫不間斷通過binlog恢複資料。由於主備資料同步存在一定的時間差，特別在網路延遲等情況下，會導致備庫同步恢複的資料不是一份目前時間的完整鏡像，與主庫有較大差別。

• 一致性約束

  DB2在資料存放區劃分中屬於RDBMS系統，對外可以提供強一致性資料查詢介面。例如，一次同步任務啟動運行過程中，有其它資料來源寫入資料至該庫。由於資料庫本身的快照特性，DB2 Reader完全不會擷取到寫入的更新資料。

  上述是在DB2 Reader單執行緒模式下資料同步一致性的特性，DB2 Reader可以根據您配置資訊並發抽取資料，因此不能嚴格保證資料的一致性。

  DB2 Reader根據splitPk切分資料後，會先後啟動多個並發任務完成資料同步。多個並發任務不屬於同一個讀事務且存在時間間隔。對於未經處理資料而言，多並發讀取的快照資料可能存在不完整、不一致的情況。

  針對多線程的一致性快照需求，目前在技術上無法實現，只能從工程角度解決。工程化的方式存在取捨，在此提供以下解決思路，您可根據自身情況進行選擇：

  • 使用單線程同步，即不再進行資料切片。缺點是速度比較慢，但是能夠很好保證一致性。

  • 關閉其他資料寫入方，保證當前資料為待用資料，例如鎖表、關閉備庫同步等。缺點是可能影響線上業務。

• 資料庫編碼問題

  DB2 Reader底層使用JDBC進行資料幫浦，JDBC天然適配各類編碼，並在底層進行了編碼轉換。因此DB2 Reader不需您指定編碼，可以自動識別編碼並轉碼。

• 增量資料同步的方式

  DB2 Reader使用JDBC SELECT陳述式完成資料幫浦工作，因此可以使用SELECT…WHERE…進行增量資料幫浦，方式如下：

  • 資料庫線上應用寫入資料庫時，填充modify欄位為更改時間戳記，包括新增、更新、刪除（邏輯刪除）。對於該類應用，DB2 Reader只需要where條件後跟上一同步階段時間戳記即可。

  • 對於新增流水型資料，DB2 Reader在where條件後跟上一階段最大自增ID即可。

  對於業務上無欄位區分新增、修改資料的情況，DB2 Reader無法進行增量資料同步，只能同步全量資料。

• SQL安全性

  DB2 Reader提供querySql語句交給您自己實現SELECT抽取語句，DB2 Reader本身對querySql不進行任何安全性校正。

附錄：指令碼Demo與參數說明

附錄：離線任務指令碼配置方式

如果您配置離線任務時使用指令碼模式的方式進行配置，您需要在任務指令碼中按照指令碼的統一格式要求編寫指令碼中的reader參數和writer參數，指令碼模式的統一要求請參見通過指令碼模式配置離線同步任務，以下為您介紹指令碼模式下的資料來源的Reader參數和Writer參數的指導詳情。

Reader指令碼Demo

{
    "type":"job",
    "version":"2.0",//版本號碼
    "steps":[
        {
            "stepType":"db2",//外掛程式名
            "parameter":{
                "password":"",//密碼
                "jdbcUrl":"",//DB2資料庫的JDBC串連資訊
                "column":[
                    "id"
                ],
                "where":"",//篩選條件。
                "splitPk":"",//資料分區
                "table":"",//表名 
                "username":""//使用者名稱
            },
            "name":"Reader",
            "category":"reader"
        },
        { 
            "stepType":"stream",
            "parameter":{},
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"//錯誤記錄數
        },
        "speed":{
             "throttle":true,//當throttle值為false時，mbps參數不生效，表示不限流；當throttle值為true時,表示限流。
             "concurrent":1 //作業並發數。
             "mbps":"12"//限流，此處1mbps = 1MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Reader指令碼參數

Writer指令碼Demo

{
    "type":"job",
    "version":"2.0",//版本號碼。
    "steps":[
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"db2",//外掛程式名。
            "parameter":{
                "postSql":[],//執行資料同步任務之後率先執行的SQL語句。
                "password":"",//密碼。
                "jdbcUrl":"jdbc:db2://ip:port/database",//DB2資料庫的JDBC串連資訊。
                "column":[
                    "id"
                ],
                "batchSize":1024,//一次性批量提交的記錄數大小。
                "table":"",//表名。
                "username":"",//使用者名稱。
                "preSql":[]//執行資料同步任務之前執行的SQL語句。
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"//錯誤記錄數。
        },
        "speed":{
            "throttle":true,//當throttle值為false時，mbps參數不生效，表示不限流；當throttle值為true時,表示限流。
            "concurrent":1, //作業並發數。
            "mbps":"12"//限流，此處1mbps = 1MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Writer指令碼參數