當您在DataStudio中完成任務開發,並發布至生產環境後,您可以進入營運中心運行即時同步任務,同時,您還可以在營運中心監控任務運行狀態、查看任務運行指標等。本文列舉即時同步任務的常見營運操作。
前提條件
已完成即時同步任務的建立、發布。詳情請參見:配置單表增量資料即時同步任務、配置整庫增量資料即時同步任務。
運行與管理即時同步任務
任務配置完成後,您可以在即時同步任務運行與管理。
面板啟動、暫停、下線對應同步任務,詳情請參見說明 啟動任務運行時,支援您設定同步位點和FailOver次數。
- 位點設定:支援斷點續傳或從指定同步起始位置開始同步。
- FailOver:為避免FailOver導致頻繁啟動任務佔用系統資源,您可配置指定時間段內FailOver出現次數超過指定次數時,任務自動結束運行。如果您不配置Failover次數,將根據5分鐘內,Failover次數超過100來自動結束任務。
任務運行狀態監控
為避免任務出錯導致業務資料產出延遲,您可以進入 頁面,找到對應同步任務,單擊操作列的警示設定。詳情請參見:即時同步任務運行與管理。- 警示條件:支援對任務狀態、業務延遲、Failover和DDL不支援設定監控警示。說明 DDL不支援:資料寫入不同目的端時,對源端DDL操作的支援情況不同,當源端存在不支援的DDL操作時,會報此類錯誤。DDL支援情況詳情請參見:支援的DML及DDL操作。
- 警示通知方式:支援通過郵件、簡訊和DingTalk等方式將警示資訊發送給警示接收人。
- 疲勞度控制:為了避免短時間內產生大量警示,Data Integration即時同步還支援疲勞度控制,即為DataWorks支援您設定當前規則在指定時間間隔內只發送一次警示資訊。
使用Logview查看任務運行資訊
說明
該功能目前在灰階邀測中,如需使用,請聯絡技術支援人員處理。
Data IntegrationLogView是在Data Integration同步任務中進行埋點採集,分析處理,可視化展現,更加細粒度展示分析同步任務過程的同步速率,日誌等資訊。
在
頁面,找到目標任務,單擊即時任務的任務名稱,即可進入即時任務Logview頁面。您可以在該頁面查看如下資訊:參數 | 描述 |
日誌 | 您可以在該頁面查看即時任務的日誌詳情,並可以根據時間篩選日誌。 |
進度 | 您可以在該頁面查看即時任務的詳情進展,包括業務延遲、同步條數、同步位元組數、同步條數速率、同步位元組速率、視窗等待時間等變化曲線。 您還可以在該頁面執行如下操作:
|
資料庫DDL事件 | 您可以在此頁面查看源端發現的DDL記錄。 |
資料庫DML事件 | 您可以在此頁面對來源表、目標表進行統計分析。 |
Failover | 您可以在此頁面查看即時任務的Failover狀態和變化曲線,也可以在日誌詳情中查看該次Failover的日誌資訊。 |
修改即時同步任務
您可進入DataStudio介面重新編輯即時同步任務,但若要此次變更操作生效,您需要先停止線上即時同步任務,變更操作完成後重新提交、發布任務,然後進入營運中心啟動任務運行。
修改DDL規則
您可以在啟動同步任務前,進入DataStudio介面,重新定義該任務對源端DDL訊息的處理策略。詳情請參見:配置整庫增量資料即時同步任務。
說明 DataStudio介面的變更操作,若要生效,都需要先停止線上即時同步任務,在操作完成後重新提交、發布任務,然後進入營運中心啟動任務運行。