创建数据加工任务后,日志服务默认为每个加工任务创建一个仪表盘,您可以在仪表盘中查看数据加工任务运行指标。本文介绍加工任务运行指标详情及如何查看数据加工仪表盘。
查看仪表盘
创建加工任务后,您可以在数据加工概览页面查看该任务的仪表盘。
登录日志服务控制台。
在Project列表区域,单击目标Project。
在左侧导航栏中,选择
。单击目标数据加工任务,在执行状态区域,查看仪表盘信息。
总览指标
总览指标信息如下所示。
读日志数总计:从源Logstore的各个shard中读取到的日志条数总计。
投递日志数总计:从源Logstore的各个shard中读取日志并成功写入到目标Logstore的日志条数总计。
失败日志数总计:从源Logstore的各个shard中读取日志并在加工过程中发生失败的日志条数总计。
投递日志数占比:成功投递到目标Logstore的日志条数占源Logstore读取到日志条数的比例。
加工速率
加工速率用于统计每分钟窗口内,数据加工处理的日志条数。
accept:从源Logstore的各个shard中读到的日志条数。
dropped:从源Logstore的各个shard中读到并按规则脚本预期丢弃的日志条数。
delivered:从源Logstore的各个shard中读到并成功写入到目标Logstore的日志条数。
failed:从源Logstore的各个shard中读取到日志并在加工过程中发生失败的日志条数。
shard消费延迟、shard消费速率
统计每分钟窗口内,加工任务读取源Logstore数据时,每个shard的指标。
消费延迟:该shard中的日志被完全消费的时间与该shard最新日志产生的时间之差。两个时间,都是按shard数据到达服务端时间(server receive time)开始计算的。
消费速率:shard在一分钟窗口内平均每秒钟读取到的日志条数。
处理实时日志时消费延迟一般是1s左右。如果处理的是历史日志数据,在任务开始的阶段消费延迟可能会很高,随着数据加工的进行,消费进度不断追赶最终达到低延迟水平。
活跃shard
展示最近一段时间内发生,shard每秒处理的日志行数(accept、dropped、delivered、failed)。
异常详情
您可以根据reason字段,查看可能导致出错的规则脚本。
您也可以在当前Project下的internal-etl-log日志库中,通过关键词ERROR或WARNING查看完整的错误日志。