日志服务推出CloudLens for SLS应用,帮助您监控和管理日志服务Project、Logstore等资产,以提升您对日志服务资产的管理效率、快速了解其消耗情况。
功能说明
CloudLens for SLS支持如下功能。
支持集中管理当前阿里云账号下符合条件的Project和Logstore。条件说明,请参见使用限制。
支持一键开启实例日志(重要日志、详细日志、任务运行日志)和全局日志(审计日志、计费日志、错误日志、监控指标)的采集功能,集中管理日志的采集状态。
说明实例日志(重要日志、详细日志、任务运行日志)和全局日志(审计日志、错误日志、监控指标)仅支持查看开通日志采集后数据。
重要日志:包括Logstore粒度的消费组消费延时日志、Logtail相关的错误、心跳和统计日志,存储在指定Project下名为internal-diagnostic_log的Logstore中。
详细日志:包括Project内所有资产的创建、修改、更新、删除操作日志和数据读写日志,存储在指定Project下名为internal-operation_log的Logstore中。
任务运行日志:记录数据导入(新版)、定时SQL、投递(新版)等任务的出错与延迟信息,存储在指定Project下名为internal-diagnostic_log的Logstore中。
审计日志:记录当前阿里云账号内所有Project内资源的创建、修改、更新、删除等操作日志,存储在指定Project下名为internal-audit_log的Logstore中。
计费日志:通过成本管家记录日志服务计费资源数据,存储在表格存储(OTS)中,每日自动全量更新。数据详情,请参见账单数据说明。
说明初次开通时,数据导入大概需要1~2小时,具体导入时间受账单数据量影响。
仅公共云用户支持开通计费日志。
开通后,不支持关闭。
错误日志:记录当前阿里云账号内所有Project内资源的创建、修改、更新、删除以及数据读写的错误日志,存储在指定Project下名为internal-error_log的Logstore中。
监控指标:记录Project粒度、Logstore粒度的流量、请求、延迟等指标数据,存储在指定Project下名为internal-monitor-metric的MetricStore中。
更多信息,请参见服务日志。
CloudLens for SLS预设了基线告警、同环比告警等相关的告警监控规则,用于监控Project、Logtail、消费组等资源的使用,并支持短信、钉钉、邮件、语音、自定义Webhook等通知方式。更多信息,请参见设置告警。
提供丰富的可视化报表,包括全局概览、访问监控、采集监控、操作监控、作业监控、额度监控、SQL质量监控和计费资源监控这七大类报表。更多信息,请参见查看数据报表。
支持查看当前阿里云下符合条件的Project和Logstore的Quota信息。条件说明,请参见使用限制。
适用场景
开发运维
开发人员可通过CloudLens for SLS监控和管理日志服务Project、Logstore等资产,提升对日志服务资产的管理效率;通过对CloudLens for SLS所采集的Project实例详细日志、重要日志和任务监控日志进行查询与分析,提高了问题定位的效率。
IT运维
IT运维人员可通过CloudLens for SLS的告警功能及时感知和响应Project服务状态、流量、Quota以及Logtail多维度指标的异常。
安全审计
CloudLens for SLS的审计日志可以记录用户对Project内资源的创建、更新和删除操作,便于安全审计人员对特定时间内的操作进行安全分析与审计。
资产详情
Project、Logstore、MetricStore
开启重要日志、任务运行日志采集时,您可以自定义选择一个Project。开启后,日志服务将在该Project下生成一个名为internal-diagnostic_log的Logstore。
开启详细日志采集时,您可以自定义选择一个Project。开启后,日志服务将在该Project下生成一个名为internal-operation_log的Logstore。
开启审计日志采集时,您可以自定义选择一个Project。开启后,日志服务将在该Project下生成一个名为internal-audit_log的Logstore。
开启错误日志采集时,您可以自定义选择一个Project。开启后,日志服务将在该Project下生成一个名为internal-error_log的Logstore。
开启监控指标采集时,您可以自定义选择一个Project。开启后,日志服务将在该Project下生成一个名为internal-monitor-metric的MetricStore。
仪表盘
仪表盘
说明
全局概览
全局概览
展示日志服务Project相关信息,包括读写请求次数、读写请求成功率、4xx请求次数、5xx请求次数、写入流量(原始大小)、写入流量(压缩后)、写入流量压缩比、读取流量等图表。
访问监控
访问流量监控
展示日志服务的访问情况,包括今日请求总数、客户端个数、今日用户数、SourceIP读取网络流量Top 10、SourceIP写入流量Top 10、请求数、写入流量、Shard写入流量变化趋势、Shard消费流量趋势、每分钟读写网络流量变化、访问来源分布等图表。
访问异常监控
展示日志服务的异常访问情况,包括今日请求总数、失败请求占比、限流错误、请求异常状态分布、超过写入限制Logstore、请求异常数、请求处理耗时趋势等图表。
消费组监控
展示消费组相关信息,包括消费组个数、消费Logstore个数、消费Shard个数、消费组延迟数、消费组数据占比、消费组列表、消费组延时Top 10、消费落后时长等图表。
采集监控
Logtail整体状态
展示Logtail相关信息,包括活跃Logtail数、原始数据流量、运行状态分布、内存占用分布、Logtail整体状态、CPU趋势、内存趋势、数据发送流量等图表。
Logtail文件采集监控
展示待采集文件的相关信息,包括采集文件数、采集机器数、采集文件分布、采集日志量、平均采集延迟、解析失败率、发送次数趋势等图表。
Logtail异常监控
展示Logtail的异常情况,包括活跃Logtail数、Logtail重启列表、重启客户端数、全量错误信息等图表。
操作监控
操作监控
展示日志服务操作记录,包括日志库操作总数、日志库操作失败占比、操作客户端个数等图表。
作业监控
数据处理监控
展示数据导入任务(新版)、投递任务(新版)或定时SQL任务运行情况,包括读成功条数、读失败条数、写成功条数、写失败条数、读公网流量、写公网流量、处理速率、进度落后、运行异常、运行状态等图表。
额度监控
额度监控
展示资产额度超限情况,包括资源配额80%水位预警概览、额度超限分布、LogStore水位占比分布、机器组水位占比分布、Logtail采集配置水位占比分布、Project写入流量水位占比分布、Project基础资源配额详情、Project数据读写资源配额详情、Project资源超限详情等图表。
SQL质量监控
SQL质量监控
展示SQL质量情况,包括SQL 健康分、SQL服务指标、SQL运行明细指标、SQL Pattern等图表。
计费资源监控
计费资源监控
展示日志服务计费资源信息,包括存储空间-日志热存储、索引流量-日志索引、读写流量、计费项用量趋势、Top Project用量明细、Top Logstore用量明细等。
费用说明
CloudLens for SLS应用服务免费,提供的各类日志费用具体说明如下:
重要日志、任务运行日志和审计日志的接入、存储与查询分析免费。当您进行数据加工、数据投递等操作时,按量计费。
详细日志的计费方式与普通Logstore一致。
计费日志不会产生额外费用,其涉及的Project、表格存储实例均为免费实例。
更多信息,请参见按使用功能计费模式计费项。
使用限制
目前,CloudLens for SLS只监控和管理如下区域的资产。
云类型 | 地域 |
公共云 | 华东1(杭州)、华北1(青岛)、华北2(北京)、华北3(张家口)、华北5(呼和浩特)、华北6(乌兰察布)、华东2(上海)、西南1(成都)、华南1(深圳)、华南2(河源)、华南3(广州)、中国(香港)、印度尼西亚(雅加达)、马来西亚(吉隆坡)、菲律宾(马尼拉)、新加坡、韩国(首尔)、泰国(曼谷)、日本(东京)、英国(伦敦)、德国(法兰克福)、阿联酋(迪拜)、美国(硅谷)、美国(弗吉尼亚) |
注意事项
CloudLens功能要求云账号下必须存在至少一个Project。
在用户开通和使用CloudLens功能时,日志服务会检测账号下是否存在Project,具体逻辑如下。
检测逻辑
用户第一次开通CloudLens功能,日志服务会自动检测您当前的阿里云账号下是否存在任意Project,如果没有Project,则会在华南2(河源)地域创建一个名称为
aliyun-product-data-阿里云账号ID-cn-heyuan
的Project。用户开通CloudLens功能后进入CloudLens,日志服务只会自动检测您当前的阿里云账号下是否存在任意Project,不会在华南2(河源)地域创建Project,用户可以手动创建任意Project,创建Project的步骤请参见管理Project。
删除Project
如果您要删除
aliyun-product-data-阿里云账号ID-cn-heyuan
这个Project,可以打开云命令行,执行以下命令进行删除,请根据实际情况替换阿里云账号ID。aliyunlog log delete_project --project_name=aliyun-product-data-阿里云账号ID-cn-heyuan --region-endpoint=cn-heyuan.log.aliyuncs.com
删除其他Project和Logstore的步骤,请参见管理Logstore和管理Project。