以下為您介紹同步資料至Hologres解決方案操作失敗的常見問題和解決方案。
- PolarDB資料來源網路聯通性測試失敗怎麼辦?
- 即時任務,運行報錯:com.alibaba.otter.canal.parse.exception.PositionNotFoundException: can't find start position for XXX
- 即時任務,運行報錯:com.alibaba.otter.canal.parse.exception.CanalParseException: command : 'show master status' has an error! pls check. you need (at least one of) the SUPER,REPLICATION CLIENT privilege(s) for this operation
- 即時任務,運行報錯:com.alibaba.datax.plugin.reader.mysqlbinlogreader.MysqlBinlogReaderException: The mysql server does not enable the binlog write function. Please enable the mysql binlog write function first.
- 離線任務,運行報錯:com.alibaba.datax.common.exception.DataXException: Code:[HoloWriter-02], Description:[Invalid config parameter in your configuration.]. - Field _log_file_name_offset_ not allow null but not present in user configured columns.
- 離線任務,運行報錯:errorCode:NoSuchTopic, errorMessage:The specified topic name does not exist.
- 即時任務,運行報錯:MongoDBReader$Task - operation exceeded time limitcom.mongodb.MongoExecutionTimeoutException: operation exceeded time limit.
PolarDB資料來源網路聯通性測試失敗怎麼辦?
- 錯誤現象:添加資料來源PolarDB時,網路連通性測試失敗。
- 如何處理:切換到jdbc串連串,同時檢查白名單配置,以及獨享資源群組的VPC配置。
Oracle資料來源網路聯通性測試失敗怎麼辦?
- 錯誤現象:添加資料來源Oracle時,網路連通性測試失敗。
- 如何處理:切換到jdbc串連串,同時檢查白名單配置,以及獨享資源群組的VPC配置。
MySQL資料來源網路聯通性測試失敗怎麼辦?
- 錯誤現象:添加資料來源MySQL時,網路連通性測試失敗。
- 如何處理:切換到jdbc串連串,同時檢查白名單配置,以及獨享資源群組的VPC配置。
即時任務,運行報錯:com.alibaba.otter.canal.parse.exception.PositionNotFoundException: can't find start position for XXX
- 報錯內容:資料同步任務執行時,即時任務運行失敗,錯誤提示為
com.alibaba.otter.canal.parse.exception.PositionNotFoundException: can't find start position for XXX
。 - 可能原因:來來源資料源PolarDB沒有開啟binlog。
- 如何處理:PolarDB開啟binlog,詳細操作可參見配置資料來源(來源為PolarDB)。並進行至少一條資料的變更,同時切換Data Integration即時同步開始點位到目前時間。
即時任務,運行報錯:com.alibaba.otter.canal.parse.exception.CanalParseException: command : 'show master status' has an error! pls check. you need (at least one of) the SUPER,REPLICATION CLIENT privilege(s) for this operation
- 報錯內容:資料同步任務執行時,即時任務運行失敗,錯誤提示為
com.alibaba.otter.canal.parse.exception.CanalParseException: command : 'show master status' has an error! pls check. you need (at least one of) the SUPER,REPLICATION CLIENT privilege(s) for this operation
。 - 可能原因:來來源資料源PolarDB沒有給進行資料同步的帳號開啟要求的權限,或對接的PolarDB資料庫不是主節點。
- 如何處理:參見配置資料來源(來源為PolarDB)的操作授予許可權,或者檢查PolarDB是否是主節點(讀寫庫),目前即時任務不支援從PolarDB備節點抓取資料。
即時任務,運行報錯:com.alibaba.datax.plugin.reader.mysqlbinlogreader.MysqlBinlogReaderException: The mysql server does not enable the binlog write function. Please enable the mysql binlog write function first.
- 報錯內容:資料同步任務執行時,即時任務運行失敗,錯誤提示為
com.alibaba.datax.plugin.reader.mysqlbinlogreader.MysqlBinlogReaderException: The mysql server does not enable the binlog write function. Please enable the mysql binlog write function first
。 - 可能原因:來來源資料源PolarDB未開啟loose_polar_log_bin參數。
- 如何處理:需要開啟loose_polar_log_bin參數,詳細操作可參見配置資料來源(來源為PolarDB)。
離線任務,運行報錯:com.alibaba.datax.common.exception.DataXException: Code:[HoloWriter-02], Description:[Invalid config parameter in your configuration.]. - Field _log_file_name_offset_ not allow null but not present in user configured columns.
- 報錯內容:資料同步任務執行時,離線任務運行失敗,錯誤提示為
com.alibaba.datax.common.exception.DataXException: Code:[HoloWriter-02], Description:[Invalid config parameter in your configuration.]. - Field _log_file_name_offset_ not allow null but not present in user configured columns
。 - 可能原因:DataWorks的離線引擎外掛程式未升級到最新版本。
- 如何處理:請提交工單聯絡支援人員,幫您將離線引擎外掛程式升級到最新版本。
離線任務,運行報錯:errorCode:NoSuchTopic, errorMessage:The specified topic name does not exist.
- 報錯內容:執行資料同步任務時,離線任務運行失敗,錯誤提示為
errorCode:NoSuchTopic, errorMessage:The specified topic name does not exist.
。 - 可能原因:
- 資料同步任務中使用的Hologres目標表不存在。
- 使用資料同步任務同步了資料來源表至Hologres的外部表格。目前,Hologres Writer不支援寫入資料至Hologres外部表格。
- 如何處理:您需要使用Hologres的內部表作為同步任務的目標表。如果Hologres目標表不存在,請在配置資料同步任務時使用自動建表,建立可用的Hologres目標表,詳情請參見配置Hologres目標表。
即時任務,運行報錯:MongoDBReader$Task - operation exceeded time limitcom.mongodb.MongoExecutionTimeoutException: operation exceeded time limit.
- 報錯內容:資料同步任務時,即時任務運行失敗,錯誤提示為
MongoDBReader$Task - operation exceeded time limitcom.mongodb.MongoExecutionTimeoutException: operation exceeded time limit
。 - 可能原因:全量拉取資料過大導致的。
- 如何處理:
- 加大並發。
- 減小BatcSsize。
- Reader端parameter參數中,增加
cursorTimeoutInMs
配置,可以嘗試設定大些,例如3600000s。