Realtime ComputeFlink版支援在作業日誌介面、Object Storage Service或者Log ServiceSLS上查看歷史工作執行個體的日誌。本文為您介紹如何在作業日誌介面、OSS或SLS上查看歷史工作執行個體日誌。
背景資訊
如果出現以下情況,則您需要查看歷史工作執行個體的日誌:
您需要查看、搜尋和分析歷史工作執行個體的作業記錄(系統預設保留最近5 MB大小的作業記錄)。
Flink UI無法開啟,需要查看Job Manager日誌定位問題。
前提條件
在作業日誌頁簽查看歷史工作執行個體日誌,需要您在日誌配置中已開啟日誌歸檔功能。預設已開啟日誌歸檔功能。
在OSS或者SLS上查看歷史執行個體的日誌,需要您在Flink全託管上已配置了歷史工作執行個體的日誌輸出到OSS或者SLS,詳情請參見配置作業日誌輸出。
使用限制
在VVR 3.x版本,僅VVR 3.0.7及以上版本支援查看歷史工作執行個體的TM日誌。
在VVR 4.x版本,僅VVR 4.0.11及以上版本支援查看歷史工作執行個體的TM日誌。
注意事項
當記錄檔達到指定的大小時,系統將自動對日誌進行歸檔,並定期清理超過歸檔有效期間的記錄檔,作業停止後未清理的歸檔日誌會被儲存下來,不會自動清理。若作業被刪除,則相應的日誌也將隨之刪除。
說明2024年11月發布新版本後,Realtime Compute管理主控台所有存量作業日誌(包括作業停止後未清理的歸檔日誌)只要超過了歸檔日誌有效期間都會被清理。
如果Task Manager和Job Manager任意一個啟動,日誌都會寫到SLS或OSS。但Task Manager和Job Manager都沒有正常啟動時,日誌不會被寫到SLS或OSS。
如果因為Job Manager和Task Manager都沒有正常啟動,導致您在OSS上沒有找到對應的記錄檔,請聯絡我們。
日誌配置中預設會保留2個檔案,每個檔案大小為5 MB,不建議您修改該值。如果該日誌儲存大小不滿足您的需求,則請將日誌輸出至OSS中。
說明圖片上的檔案個數不包括正在寫的檔案,即如果這裡配置為1,則最多會儲存2個檔案,一個儲存在記憶體中,一個儲存在您的本地磁碟中。
在作業日誌介面查看
單擊目標工作空間操作列下的控制台。
在左側導覽列上,選擇 。
單擊目標作業名稱。
單擊作業日誌。
在左側作業記錄頁簽,單擊作業右側的下拉框,選擇歷史運行作業。
查看Job Manager和Task Managers日誌。
在Job Manager或Task Managers頁簽,分別單擊對應的日誌名稱,進行查看。
在OSS上查看
登入OSS管理主控台。
在左側導覽列,單擊Bucket列表。
單擊您開通Flink全託管服務時,配置的Bucket名稱。
在檔案管理中,查看對應目錄日誌資訊。
檔案夾
說明
artifacts
上傳的JAR包會被儲存到該目錄。
flink-jobs
Flink作業的Checkpoint會被儲存到該目錄。
flink-savepoints
在Flink全託管開發控制台上,單擊Savepoint,會觸發Savepoint操作,最終的Savepoint檔案會被儲存到該目錄。
logs
如果您作業的日誌模板選擇了OSS,則您的作業的日誌會被儲存到該目錄。
說明logs目錄下作業儲存路徑為:logs/${工作空間ID}/${作業ID}/${執行個體ID}。您可以通過該目錄結構找到相應作業的JM(Job Manager)和TM(Task Manager)日誌。
在SLS上查看
在全部的Project地區,單擊目標Project。
在日誌庫頁簽,單擊目標Logstore。
輸入查詢分析語句,選擇時間範圍,單擊查詢/分析。
詳情請參見查詢和分析日誌。