全部產品
Search
文件中心

Simple Log Service:資料加工儀錶盤

更新時間:Jul 17, 2024

建立資料加工任務後,Log Service預設為每個加工任務建立一個儀錶盤,您可以在儀錶盤中查看資料加工任務運行指標。本文介紹加工任務運行指標詳情及如何查看資料加工儀錶盤。

查看儀錶盤

建立加工任務後,您可以在資料加工概覽頁面查看該任務的儀錶盤。

  1. 登入Log Service控制台

  2. 在Project列表地區,單擊目標Project。

    image

  3. 在左側導覽列中,選擇任務管理 > 資料加工

  4. 單擊目標資料加工任務,在執行狀態地區,查看儀錶盤資訊。

總覽指標

總覽指標資訊如下所示。總覽指標

  • 讀日誌數總計:從源Logstore的各個shard中讀取到的日誌條數總計。

  • 投遞日誌數總計:從源Logstore的各個shard中讀取日誌並成功寫入到目標Logstore的日誌條數總計。

  • 失敗日誌數總計:從源Logstore的各個shard中讀取日誌並在加工過程中發生失敗的日誌條數總計。

  • 投遞日誌數佔比:成功投遞到目標Logstore的日誌條數占源Logstore讀取到日誌條數的比例。

加工速率

加工速率用於統計每分鐘視窗內,資料加工處理的日誌條數。加工速率指標

  • accept:從源Logstore的各個shard中讀到的日誌條數。

  • dropped:從源Logstore的各個shard中讀到並按規則指令碼預期丟棄的日誌條數。

  • delivered:從源Logstore的各個shard中讀到並成功寫入到目標Logstore的日誌條數。

  • failed:從源Logstore的各個shard中讀取到日誌並在加工過程中發生失敗的日誌條數。

shard消費延遲、shard消費速率

統計每分鐘視窗內,加工任務讀取源Logstore資料時,每個shard的指標。消費延遲與速率指標

  • 消費延遲:該shard中的日誌被完全消費的時間與該shard最新日誌產生的時間之差。兩個時間,都是按shard資料到達服務端時間(server receive time)開始計算的。

  • 消費速率:shard在一分鐘視窗內平均每秒鐘讀取到的日誌條數。

說明

處理即時日誌時消費延遲一般是1s左右。如果處理的是歷史日誌資料,在任務開始的階段消費延遲可能會很高,隨著資料加工的進行,消費進度不斷追趕最終達到低延遲水平。

活躍shard

展示最近一段時間內發生,shard每秒處理的日誌行數(accept、dropped、delivered、failed)。活躍Shard指標

異常詳情

您可以根據reason欄位,查看可能導致出錯的規則指令碼。異常詳情

您也可以在當前Project下的internal-etl-log日誌庫中,通過關鍵詞ERROR或WARNING查看完整的錯誤記錄檔。