全部產品
Search
文件中心

Realtime Compute for Apache Flink:查看歷史工作執行個體日誌

更新時間:Sep 13, 2024

Flink全託管支援在作業日誌介面、Object Storage Service或者Log ServiceSLS上查看歷史工作執行個體的日誌。本文為您介紹如何在作業日誌介面、OSS或SLS上查看歷史工作執行個體日誌。

背景資訊

如果出現以下情況,則您需要查看歷史工作執行個體的日誌:

  • 您需要查看、搜尋和分析歷史工作執行個體的作業記錄(系統預設保留最近5 MB大小的作業記錄)。

  • Flink UI無法開啟,需要查看Job Manager日誌定位問題。

本文為您介紹查看歷史工作執行個體日誌的三種途徑:

前提條件

  • 作業日誌頁簽查看歷史工作執行個體日誌,需要您在日誌配置中已開啟日誌歸檔功能。預設已開啟日誌歸檔功能。查看歷史工作執行個體日誌2.jpg

  • 在OSS或者SLS上查看歷史執行個體的日誌,需要您在Flink全託管上已配置了歷史工作執行個體的日誌輸出到OSS或者SLS,詳情請參見配置作業日誌輸出

使用限制

  • 在VVR 3.x版本,僅VVR 3.0.7及以上版本支援查看歷史工作執行個體的TM日誌。

  • 在VVR 4.x版本,僅VVR 4.0.11及以上版本支援查看歷史工作執行個體的TM日誌。

注意事項

  • 如果Task Manager和Job Manager任意一個啟動,日誌都會寫到SLS或OSS。但Task Manager和Job Manager都沒有正常啟動時,日誌不會被寫到SLS或OSS。

  • 如果因為Job Manager和Task Manager都沒有正常啟動,導致您在OSS上沒有找到對應的記錄檔,請聯絡我們。

  • 日誌配置中預設會保留2個檔案,每個檔案大小為5 MB,不建議您修改該值。如果該日誌儲存大小不滿足您的需求,則請將日誌輸出至OSS中。查看歷史作業3.jpg

    說明

    圖片上的檔案個數不包括正在寫的檔案,即如果這裡配置為1,則最多會儲存2個檔案,一個儲存在記憶體中,一個儲存在您的本地磁碟中。

在作業日誌介面查看

  1. 登入Realtime Compute控制台

  2. 單擊目標工作空間操作列下的控制台

  3. 在左側導覽列上,選擇營運中心 > 作業營運

  4. 單擊目標作業名稱。

  5. 單擊作業日誌

  6. 在左側作業記錄頁簽,單擊作業右側的下拉框,選擇歷史運行作業。

    查看歷史工作執行個體日誌.jpg

  7. 查看Job Manager和Task Managers日誌。

    Job ManagerTask Managers頁簽,分別單擊對應的日誌名稱,進行查看。

在OSS上查看

  1. 登入OSS管理主控台

  2. 在左側導覽列,單擊Bucket列表

  3. 單擊您開通Flink全託管服務時,配置的Bucket名稱。

  4. 檔案管理中,查看對應目錄日誌資訊。

    檔案夾

    說明

    artifacts

    上傳的JAR包會被儲存到該目錄。

    flink-jobs

    Flink作業的Checkpoint會被儲存到該目錄。

    flink-savepoints

    Flink全託管開發控制台上,單擊Savepoint,會觸發Savepoint操作,最終的Savepoint檔案會被儲存到該目錄。

    logs

    如果您作業的日誌模板選擇了OSS,則您的作業的日誌會被儲存到該目錄。

    說明

    logs目錄下作業儲存路徑為:logs/${工作空間ID}/${作業ID}/${執行個體ID}。您可以通過該目錄結構找到相應作業的JM(Job Manager)和TM(Task Manager)日誌。

在SLS上查看

  1. 登入Log Service控制台

  2. 全部的Project地區,單擊目標Project。

  3. 日誌庫頁簽,單擊目標Logstore。

  4. 輸入查詢分析語句,選擇時間範圍,單擊查詢/分析

    詳情請參見查詢和分析日誌