Log Service推出CloudLens for SLS應用,協助您監控和管理Log ServiceProject、Logstore等資產,以提升您對Log Service資產的管理效率、快速瞭解其消耗情況。
功能說明
CloudLens for SLS支援如下功能。
支援集中管理當前阿里雲帳號下合格Project和Logstore。條件說明,請參見使用限制。
支援一鍵開啟執行個體日誌(重要日誌、詳細日誌、任務作業記錄)和全域日誌(審計日誌、計費日誌、錯誤記錄檔、監控指標)的採集功能,集中管理日誌的採集狀態。
說明執行個體日誌(重要日誌、詳細日誌、任務作業記錄)和全域日誌(審計日誌、錯誤記錄檔、監控指標)僅支援查看開通日誌採集後資料。
重要日誌:包括Logstore粒度的消費組消費延時日誌、Logtail相關的錯誤、心跳和統計日誌,儲存在指定Project下名為internal-diagnostic_log的Logstore中。
詳細日誌:包括Project內所有資產的建立、修改、更新、刪除動作記錄和資料讀寫日誌,儲存在指定Project下名為internal-operation_log的Logstore中。
任務作業記錄:記錄資料匯入(新版)、定時SQL、投遞(新版)等任務的出錯與延遲資訊,儲存在指定Project下名為internal-diagnostic_log的Logstore中。
審計日誌:記錄當前阿里雲帳號內所有Project內資源的建立、修改、更新、刪除等動作記錄,儲存在指定Project下名為internal-audit_log的Logstore中。
計費日誌:通過成本管家記錄Log Service計費資源資料,儲存在Table Store中,每日自動全量更新。資料詳情,請參見賬單資料說明。
說明初次開通時,資料匯入大概需要1~2小時,具體匯入時間受賬單資料量影響。
僅公用雲使用者支援開通計費日誌。
開通後,不支援關閉。
錯誤記錄檔:記錄當前阿里雲帳號內所有Project內資源的建立、修改、更新、刪除以及資料讀寫的錯誤記錄檔,儲存在指定Project下名為internal-error_log的Logstore中。
監控指標:記錄Project粒度、Logstore粒度的流量、請求、延遲等指標資料,儲存在指定Project下名為internal-monitor-metric的MetricStore中。
更多資訊,請參見服務日誌。
CloudLens for SLS預設了基準警示、同環比警示等相關的警示監控規則,用於監控Project、Logtail、消費組等資源的使用,並支援簡訊、DingTalk、郵件、語音、自訂Webhook等通知方式。更多資訊,請參見設定警示。
提供豐富的可視化報表,包括全域概覽、訪問監控、採集監控、操作監控、作業監控、額度監控、SQL品質監控和計費資源監控這七大類報表。更多資訊,請參見查看資料報表。
支援查看當前阿里雲下合格Project和Logstore的Quota資訊。條件說明,請參見使用限制。
適用情境
開發營運
開發人員可通過CloudLens for SLS監控和管理Log ServiceProject、Logstore等資產,提升對Log Service資產的管理效率;通過對CloudLens for SLS所採集的Project執行個體詳細日誌、重要日誌和任務監控日誌進行查詢與分析,提高了問題定位的效率。
IT營運
IT營運人員可通過CloudLens for SLS的警示功能及時感知和響應Project服務狀態、流量、Quota以及Logtail多維度指標的異常。
安全審計
CloudLens for SLS的審計日誌可以記錄使用者對Project內資源的建立、更新和刪除操作,便於安全審計人員對特定時間內的操作進行安全分析與審計。
資產詳情
Project、Logstore、MetricStore
開啟重要日誌、任務作業記錄採集時,您可以自訂選擇一個Project。開啟後,Log Service將在該Project下產生一個名為internal-diagnostic_log的Logstore。
開啟詳細日誌採集時,您可以自訂選擇一個Project。開啟後,Log Service將在該Project下產生一個名為internal-operation_log的Logstore。
開啟審計日誌採集時,您可以自訂選擇一個Project。開啟後,Log Service將在該Project下產生一個名為internal-audit_log的Logstore。
開啟錯誤記錄檔採集時,您可以自訂選擇一個Project。開啟後,Log Service將在該Project下產生一個名為internal-error_log的Logstore。
開啟監控指標採集時,您可以自訂選擇一個Project。開啟後,Log Service將在該Project下產生一個名為internal-monitor-metric的MetricStore。
儀錶盤
儀錶盤
說明
全域概覽
全域概覽
展示Log ServiceProject相關資訊,包括讀寫請求次數、讀寫請求成功率、4xx請求次數、5xx請求次數、寫入流量(原始大小)、寫入流量(壓縮後)、寫入流量壓縮比、讀取流量等圖表。
訪問監控
訪問流量監控
展示Log Service的訪問情況,包括今日請求總數、用戶端個數、今日使用者數、SourceIP讀取網路流量Top 10、SourceIP寫入流量Top 10、請求數、寫入流量、Shard寫入流量變化趨勢、Shard消費流量趨勢、每分鐘讀寫網路流量變化、訪問來源分布等圖表。
訪問異常監控
展示Log Service的異常訪問情況,包括今日請求總數、失敗請求佔比、限流錯誤、請求異常狀態分布、超過寫入限制Logstore、請求異常數、請求處理耗時趨勢等圖表。
消費組監控
展示消費組相關資訊,包括消費組個數、消費Logstore個數、消費Shard個數、消費組延遲數、消費組資料佔比、消費組列表、消費組延時Top 10、消費落後時間長度等圖表。
採集監控
Logtail整體狀態
展示Logtail相關資訊,包括活躍Logtail數、未經處理資料流量、運行狀態分布、記憶體佔用分布、Logtail整體狀態、CPU趨勢、記憶體趨勢、資料發送流量等圖表。
Logtail檔案採集監控
展示待採集檔案的相關資訊,包括採集檔案數、採集機器數、採集檔案分布、採集日誌量、平均採集延遲、解析失敗率、發送次數趨勢等圖表。
Logtail異常監控
展示Logtail的異常情況,包括活躍Logtail數、Logtail重啟列表、重啟用戶端數、全量錯誤資訊等圖表。
操作監控
操作監控
展示Log Service操作記錄,包括日誌庫操作總數、日誌庫操作失敗佔比、操作用戶端個數等圖表。
作業監控
資料處理監控
展示資料匯入任務(新版)、投遞任務(新版)或定時SQL任務運行情況,包括讀成功條數、讀失敗條數、寫成功條數、寫失敗條數、讀公網流量、寫公網流量、處理速率、進度落後、運行異常、運行狀態等圖表。
額度監控
額度監控
展示資產額度超限情況,包括資源配額80%水位預警概覽、額度超限分布、LogStore水位佔比分布、機器組水位佔比分布、Logtail採集配置水位佔比分布、Project寫入流量水位佔比分布、Project基礎資源配額詳情、Project資料讀寫資源配額詳情、Project資源超限詳情等圖表。
SQL品質監控
SQL品質監控
展示SQL品質情況,包括SQL 健康分、SQL服務指標、SQL運行明細指標、SQL Pattern等圖表。
計費資源監控
計費資源監控
展示Log Service計費資源資訊,包括儲存空間-日誌熱儲存、索引流量-日誌索引、讀寫流量、計費項目用量趨勢、Top Project用量明細、Top Logstore用量明細等。
費用說明
CloudLens for SLS應用服務免費,提供的各類日誌費用具體說明如下:
重要日誌、任務作業記錄和審計日誌的接入、儲存與查詢分析免費。當您進行資料加工、資料投遞等操作時,隨用隨付。
詳細日誌的計費方式與普通Logstore一致。
計費日誌不會產生額外費用,其涉及的Project、Table Store執行個體均為免費執行個體。
更多資訊,請參見按使用功能計費模式計費項目。
使用限制
目前,CloudLens for SLS只監控和管理如下地區的資產。
雲類型 | 地區 |
公用雲 | 華東1(杭州)、華北1(青島)、華北2(北京)、華北3(張家口)、華北5(呼和浩特)、華北6(烏蘭察布)、華東2(上海)、西南1(成都)、華南1(深圳)、華南2(河源)、華南3(廣州)、中國(香港)、印尼(雅加達)、馬來西亞(吉隆坡)、菲律賓(馬尼拉)、新加坡、韓國(首爾)、泰國(曼穀)、日本(東京)、英國(倫敦)、德國(法蘭克福)、阿聯酋(杜拜)、美國(矽谷)、美國(維吉尼亞) |
注意事項
CloudLens功能要求雲帳號下必須存在至少一個Project。
在使用者開通和使用CloudLens功能時,Log Service會檢測帳號下是否存在Project,具體邏輯如下。
檢測邏輯
使用者第一次開通CloudLens功能,Log Service會自動檢測您當前的阿里雲帳號下是否存在任意Project,如果沒有Project,則會在華南2(河源)地區建立一個名稱為
aliyun-product-data-阿里雲帳號ID-cn-heyuan
的Project。使用者開通CloudLens功能後進入CloudLens,Log Service只會自動檢測您當前的阿里雲帳號下是否存在任意Project,不會在華南2(河源)地區建立Project,使用者可以手動建立任意Project,建立Project的步驟請參見管理Project。
刪除Project
如果您要刪除
aliyun-product-data-阿里雲帳號ID-cn-heyuan
這個Project,可以開啟雲命令列,執行以下命令進行刪除,請根據實際情況替換阿里雲帳號ID。aliyunlog log delete_project --project_name=aliyun-product-data-阿里雲帳號ID-cn-heyuan --region-endpoint=cn-heyuan.log.aliyuncs.com
刪除其他Project和Logstore的步驟,請參見管理Logstore和管理Project。