為確保任務運行無誤,當您在DataStudio中完成任務開發,並發布至生產環境後,您可以進入營運中心管理離線同步任務、監控任務運行狀態、修改同步資源群組和查看任務作業記錄等。本文列舉離線同步任務的常見營運操作。
前提條件
已完成離線同步任務的建立、運行、發布。詳情請參見:通過嚮導模式配置離線同步任務、通過指令碼模式配置離線同步任務。
使用說明
離線同步任務的營運操作與其他離線調度任務操作一致,本文僅以離線同步典型營運操作為例進行說明,更多關於離線調度任務的營運操作,詳情請參見:周期任務基本營運操作。
為確保周期調度的離線同步任務運行無誤,請在任務發布完成後,前往
介面查看生產環境任務配置(任務代碼,任務使用的調度資源群組及Data Integration任務執行資源組)是否符合預期。DataWorks的離線同步任務通過調度資源群組將其下發到Data Integration任務執行資源組上執行,所以離線同步任務除了涉及Data Integration任務執行資源組外,還會佔用調度資源群組資源。如果使用了獨享調度資源群組,將會產生調度執行個體費用。您可通過文檔對該機制進行瞭解,詳情請參見DataWorks資源群組概述。
標準模式工作空間下,存在資料來源隔離機制。
任務發布至生產調度系統前,預設訪問任務配置所用資料來源對應的開發環境指定的資料庫或資料倉儲。
任務發布至生產調度系統後,預設訪問任務配置所用資料來源對應的生產環境指定的資料庫或資料倉儲。
關於資料來源開發生產隔離機制,詳情請參見:資料來源開發和生產環境隔離。
任務調度與管理
離線同步依託DataWorks強大的調度能力,為您實現離線任務的周期性自動調度執行,同時,可以結合DataWorks調度參數,實現增量資料和全量資料寫入到目標表對應分區,離線同步任務的營運操作與其他離線調度任務操作一致,支援手動觸發執行與自動調度執行。
操作 | 說明 |
運行離線同步任務 | 任務發布至生產環境後,您可以進入 介面查看發行的任務,調度系統會按照調度配置自動運行任務,同時,還支援您手動觸發任務執行。 |
暫停離線同步任務調度執行 | 在周期任務介面,您可以對單個任務執行暫停(凍結)操作,使周期調度任務在一段時間內停止調度運行,並且阻塞其下遊節點執行。 說明 周期任務運行將產生執行個體,如果某個執行個體及其下遊執行個體不需要執行,您可以凍結該執行個體。 |
恢複離線同步任務調度執行 | 在周期任務介面,您可以對凍結狀態的任務執行恢複(解凍)操作,解凍後的任務將會正常調度運行。 說明 凍結狀態的周期任務運行將產生凍結狀態的執行個體,若凍結的執行個體及其下遊執行個體需要運行,您可以解凍該執行個體。 |
同步歷史資料
DataWorks的調度參數結合補資料功能,可實現基於一套任務配置,批量將歷史資料同步至目標資料庫或資料倉儲指定表或表指定分區。若您的任務配置為增量同步處理,且需要同步歷史資料至目標表對應分區中,您可以使用補資料功能,調度參數將根據補資料配置的業務日期自動替換為具體的值,關於補資料功能使用,請參見執行補資料並查看補資料執行個體(新版)。
任務狀態監控
您可以進入智能監控概述。
配置監控規則,監控任務的運行狀態。包括完成、未完成、出錯、逾時等狀態。詳情請參見:資源群組營運
資源群組監控:您可以在營運中心監控任務運行所用資源群組的使用方式。詳情請參見資源營運。
資源群組切換:您可以通過如下方式切換任務使用的資源群組。
說明修改資源群組前,請確保待切換的資源群組與資料來源網路已經連通,避免由於資源群組與資料來源網路不通導致任務執行失敗。
作業環境
支援的切換操作
介面入口
切換生產環境資源群組
批量切換
進入
介面設定。勾選需要修改資源群組的任務,單擊底部功能表列的修改Data Integration資源群組,即可批量修改。
切換開發環境資源群組
說明開發環境切換資源群組後需要將任務重新提交發布至生產環境。
單個任務切換
批量切換
進入DataStudio版面設定。
單個任務切換
進入目標節點的編輯頁面,在右側導覽列的Data Integration資源群組配置中即可修改。
批量切換
單擊表徵圖,勾選需要修改資源群組的任務,單擊底部功能表列的修改Data Integration資源群組,即可批量修改。
表資料品質監控
Data Integration部分目標端資料來源支援配置產出表的資料品質監控,您可以進入資料品質規則頁面,對資料同步寫入的目標表配置資料品質校正規則。對於配置了資料品質監控規則的表,當表關聯的調度節點運行(執行節點代碼邏輯)完成後,將會觸發資料品質校正。DataWorks平台將會根據資料品質規則強弱和資料品質規則校正結果決定任務是否由於品質規則校正失敗退出,並阻塞下遊節點執行,防止髒資料影響範圍進一步擴大。Data Integration目標端資料來源是否支援資料品質監控,及資料品質監控的使用詳情請參見資料品質概述。
在離線同步任務產出表配置資料品質規則的情況下,請注意任務所使用的調度資源群組與目標資料來源的網路問題。
查看離線任務作業記錄
進入營運中心,待周期執行個體、補資料執行個體、測試執行個體執行完成後,您可以在執行個體DAG面板查看任務作業記錄。詳情請參見:附錄:DAG圖功能介紹。
若您需要瞭解日誌執行過程中的相關參數請參見:離線同步處理記錄分析。
查看離線資料大屏
您還可以在查看營運大屏。
頁面查看離線同步任務的運行狀態分布、資料同步進度、同步資料量統計、同步任務執行詳情(可基於來源端與目標端資料來源,以及任務是否產生公網等條件過濾目標任務)等運行指標資訊。詳情請參見:使用Logview查看任務運行資訊
該功能目前在灰階邀測中,如需使用,請聯絡技術支援人員處理。
Data IntegrationLogView是在Data Integration同步任務中進行埋點採集、分析處理、可視化展現等更加細粒度展示分析同步任務過程的同步速率,日誌等資訊。
在營運中心,找到離線任務的運行執行個體,單擊運行診斷。
在智能診斷頁面,單擊Data Integration頁簽。
參數
描述
日誌
在日誌頁面下,可以查看Data Integration同步任務的詳細日誌。
單擊同步資源群組名稱,還可以查看該資源群組詳情。
進度
在進度頁面下,可以查看Data Integration同步任務的詳細進度資訊。包括同步條數、同步位元組數、同步條數速率、同步位元組數速率。
您還可以在該頁面執行如下操作:
您可以通過時間篩選框,篩選某段時間內任務的同步資訊。
說明時間篩選最多支援查看15天內的詳細資料。
在進程列表右側,單擊表徵圖,可以選擇展現更多的列資訊。
在進程列表中,可以單擊具體的內容,查看某個指標的曲線變化。
執行個體瀏覽
如果該執行個體是周期執行個體,您還可以在執行個體瀏覽頁面下,查看該執行個體下不同周期各維度對比詳情。
您可以在工作清單中查看該任務的狀態以及對應的執行個體ID,單擊執行個體ID可以查看任務詳情。
您還可以在柱狀圖中對比不同執行個體之間的同步速率、同步條數、等待時間、同步時間長度的差異。