建立資料加工任務後,Log Service預設為每個加工任務建立一個儀錶盤,您可以在儀錶盤中查看資料加工任務運行指標。本文介紹加工任務運行指標詳情及如何查看資料加工儀錶盤。
查看儀錶盤
建立加工任務後,您可以在資料加工概覽頁面查看該任務的儀錶盤。
在Project列表地區,單擊目標Project。
在左側導覽列中,選擇
。單擊目標資料加工任務,在執行狀態地區,查看儀錶盤資訊。
總覽指標
總覽指標資訊如下所示。
讀日誌數總計:從源Logstore的各個shard中讀取到的日誌條數總計。
投遞日誌數總計:從源Logstore的各個shard中讀取日誌並成功寫入到目標Logstore的日誌條數總計。
失敗日誌數總計:從源Logstore的各個shard中讀取日誌並在加工過程中發生失敗的日誌條數總計。
投遞日誌數佔比:成功投遞到目標Logstore的日誌條數占源Logstore讀取到日誌條數的比例。
加工速率
加工速率用於統計每分鐘視窗內,資料加工處理的日誌條數。
accept:從源Logstore的各個shard中讀到的日誌條數。
dropped:從源Logstore的各個shard中讀到並按規則指令碼預期丟棄的日誌條數。
delivered:從源Logstore的各個shard中讀到並成功寫入到目標Logstore的日誌條數。
failed:從源Logstore的各個shard中讀取到日誌並在加工過程中發生失敗的日誌條數。
shard消費延遲、shard消費速率
統計每分鐘視窗內,加工任務讀取源Logstore資料時,每個shard的指標。
消費延遲:該shard中的日誌被完全消費的時間與該shard最新日誌產生的時間之差。兩個時間,都是按shard資料到達服務端時間(server receive time)開始計算的。
消費速率:shard在一分鐘視窗內平均每秒鐘讀取到的日誌條數。
處理即時日誌時消費延遲一般是1s左右。如果處理的是歷史日誌資料,在任務開始的階段消費延遲可能會很高,隨著資料加工的進行,消費進度不斷追趕最終達到低延遲水平。
活躍shard
展示最近一段時間內發生,shard每秒處理的日誌行數(accept、dropped、delivered、failed)。
異常詳情
您可以根據reason欄位,查看可能導致出錯的規則指令碼。
您也可以在當前Project下的internal-etl-log日誌庫中,通過關鍵詞ERROR或WARNING查看完整的錯誤記錄檔。