全部產品
Search
文件中心

DataWorks:即時同步任務營運

更新時間:Jun 19, 2024

當您在DataStudio中完成任務開發,並發布至生產環境後,您可以進入營運中心運行即時同步任務,同時,您還可以在營運中心監控任務運行狀態、查看任務運行指標等。本文列舉即時同步任務的常見營運操作。

前提條件

已完成即時同步任務的建立、發布。詳情請參見:配置單表增量資料即時同步任務配置整庫增量資料即時同步任務

運行與管理即時同步任務

任務配置完成後,您可以在營運中心 > 即時任務營運 > 即時同步任務面板啟動暫停下線對應同步任務,詳情請參見即時同步任務運行與管理
說明 啟動任務運行時,支援您設定同步位點和FailOver次數。
  • 位點設定:支援斷點續傳或從指定同步起始位置開始同步。
  • FailOver:為避免FailOver導致頻繁啟動任務佔用系統資源,您可配置指定時間段內FailOver出現次數超過指定次數時,任務自動結束運行。如果您不配置Failover次數,將根據5分鐘內,Failover次數超過100來自動結束任務。

任務運行狀態監控

為避免任務出錯導致業務資料產出延遲,您可以進入營運中心 > 即時任務營運 > 即時同步任務頁面,找到對應同步任務,單擊操作列的警示設定。詳情請參見:即時同步任務運行與管理
  • 警示條件:支援對任務狀態業務延遲FailoverDDL不支援設定監控警示。
    說明 DDL不支援:資料寫入不同目的端時,對源端DDL操作的支援情況不同,當源端存在不支援的DDL操作時,會報此類錯誤。DDL支援情況詳情請參見:支援的DML及DDL操作
  • 警示通知方式:支援通過郵件簡訊DingTalk等方式將警示資訊發送給警示接收人。
  • 疲勞度控制:為了避免短時間內產生大量警示,Data Integration即時同步還支援疲勞度控制,即為DataWorks支援您設定當前規則在指定時間間隔內只發送一次警示資訊。

使用Logview查看任務運行資訊

說明

該功能目前在灰階邀測中,如需使用,請聯絡技術支援人員處理。

Data IntegrationLogView是在Data Integration同步任務中進行埋點採集,分析處理,可視化展現,更加細粒度展示分析同步任務過程的同步速率,日誌等資訊。

營運中心 > 即時同步任務頁面,找到目標任務,單擊即時任務的任務名稱,即可進入即時任務Logview頁面。logview您可以在該頁面查看如下資訊:
參數描述
日誌您可以在該頁面查看即時任務的日誌詳情,並可以根據時間篩選日誌。
進度您可以在該頁面查看即時任務的詳情進展,包括業務延遲同步條數同步位元組數同步條數速率同步位元組速率視窗等待時間等變化曲線。
您還可以在該頁面執行如下操作:
  • 您可以通過時間篩選框,篩選某段時間內任務的同步資訊。
    說明 時間篩選最多支援查看15天內的詳細資料。
  • 工作清單右側,單擊自訂欄表徵圖,可以選擇展現更多的列資訊。
  • 工作清單中,可以通過切換查看Worker列表Task列表資訊。
    • Worker列表是指即時任務啟動的執行個體,非分布式任務只有一個Worker,分布式任務根據並發數會有多個Worker。
    • Task列表是指一個Worker內部的線程任務,分為Reader類型和Writer類型,根據配置的並發數會有1個到多個的Reader任務和1個到多個的Writer任務。
    您還可以單擊工作清單中的內容,查看某個指標的曲線變化。
  • 在進程列表中,可以單擊具體的內容,查看某個指標的曲線變化。曲線
資料庫DDL事件您可以在此頁面查看源端發現的DDL記錄。
資料庫DML事件您可以在此頁面對來源表、目標表進行統計分析。
Failover您可以在此頁面查看即時任務的Failover狀態和變化曲線,也可以在日誌詳情中查看該次Failover的日誌資訊。

修改即時同步任務

您可進入DataStudio介面重新編輯即時同步任務,但若要此次變更操作生效,您需要先停止線上即時同步任務,變更操作完成後重新提交、發布任務,然後進入營運中心啟動任務運行。

修改DDL規則

您可以在啟動同步任務前,進入DataStudio介面,重新定義該任務對源端DDL訊息的處理策略。詳情請參見:配置整庫增量資料即時同步任務
說明 DataStudio介面的變更操作,若要生效,都需要先停止線上即時同步任務,在操作完成後重新提交、發布任務,然後進入營運中心啟動任務運行。

常見問題

為什麼即時同步任務延遲較大?