全部产品
Search
文档中心

日志服务:实时监控和可视化

更新时间:Sep 18, 2024

日志服务可视化是将系统、应用或服务生成的原始日志数据转换成图形化界面展示的过程。本文介绍如何使用仪表盘进行数据实时监控和可视化。

预期效果

日志服务仪表盘包含丰富的图表类型,可以灵活地设置图表样式,以满足各类场景需要展示数据的不同需求。

ksh-ch.gif

仪表盘入口

在日志服务中,image图标代表仪表盘image图标代表仪表盘列表image图标代表演示列表

仪表盘列表

  • 创建仪表盘:当前Project中没有仪表盘时,有2个入口可以创建。

    image

  • 显示模式:单击目标仪表盘进行查看,默认为显示模式。如下是显示模式下的仪表盘:

    image

    显示模式操作说明

    区域

    操作说明

    仪表盘列表区域

    单击仪表盘 > 仪表盘列表,可以看到当前Project下所有的仪表盘。单击目标仪表盘,进入到显示模式。

    操作区域

    • 时间选择:您可以设置仪表盘的查询时间设置后,所有统计图表展示的是同一时段的查询和分析结果。

    • SQL增强:您可以运行SQL增强,用于优化查询分析语句。

    • 刷新:您可以通过手动刷新或自动刷新两种方式刷新仪表盘。

    • 重置:重置所有图表的查询时间范围,恢复至默认时间范围,用于改变时间范围后还原到初始状态的场景。

    • 告警:您可以为图表创建告警规则

    • 订阅订阅仪表盘后,您可以定期将仪表盘渲染为图片,通过邮件、钉钉等方式发送给指定人员。

    • 分享:您可以将仪表盘免密分享给其他人。

    • 全屏:您可以选择显示器全屏或者窗口全屏,当您不需要全屏展示时,您可以按Esc键退出全屏。

    • 仪表盘体验调研:反馈您宝贵的意见。

    • 编辑:进入仪表盘编辑模式。

    过滤器

    当您为仪表盘添加过滤器后,仪表盘会显示您创建的过滤器。

    图表区域

    单击配置监控与告警对单个图表可以进行窗口放大查看创建免密分享预览查询语句选择时间范围另存为告警、以PNG图片格式下载图表或者以CSV格式下载图表数据

  • 编辑模式:在仪表盘页面,单击编辑,会进入编辑模式。如下是编辑模式下的仪表盘:

    image

    编辑模式操作说明

    区域

    操作说明

    仪表盘列表区域

    单击仪表盘 > 仪表盘列表,可以看到当前Project下所有的仪表盘。单击目标仪表盘,在仪表盘右上角单击编辑进入编辑模式。

    操作区域

    • 撤销:取消最近一次对图表的修改,恢复到上一次保存或操作的状态。

    • 重做:撤销后的反向操作,恢复最近一次被撤销的修改。

    • 层级置顶:将选中的图表提升到所有元素之上,确保它显示在最前面。

    • 层级置底:将选中的图表放置到所有元素之下,使其显示在最底层。

    • 设置对齐方式:调整图表的对齐方式,如左对齐、右对齐等。

    • 设置图表位置和大小:调整图表左边距、上边距、高度和宽度。

    • 过滤器:通过添加过滤器可对整个仪表盘进行查询过滤。

    • 删除:当您选中一个或多个图表时,可批量删除。

    • 添加:您可以为仪表盘添加统计图表(Pro版本)统计图表

    • 导入图表:向当前仪表盘导入新图表。

    • 切换布局:日志服务中仪表盘支持网格布局自由布局两种布局模式,您可以自由切换。

    • 历史版本:您可以查看仪表盘的历史操作,同时也支持恢复历史版本。

    • 设置:在仪表盘设置页面,可以恢复旧版本、修改仪表盘JSON和管理过滤器。

    • 保存:编辑模式下的所有操作,都必须保存后才会生效。

    • 取消:退出编辑模式。

    图表区域

    单击配置监控与告警对单个图表进行编辑、复制和删除。

演示列表

  • 创建演示列表:当前Project中没有演示列表时,有2个入口可以创建。

    image

  • 编辑演示列表:在播放列表页面,单击编辑,会进入编辑模式。在编辑模式下,您可以编辑播放列表名称、修改轮播间隔时间等操作。

    image

配置仪表盘

手动刷新与自动刷新设置

您可以通过手动或自动两种方式刷新仪表盘,具体操作如下所示。

sx-ch.gif

  • 在仪表盘页面的右上方,选择刷新 > 仅一次,表示立即刷新一次仪表盘。

  • 在仪表盘页面的右上方,选择刷新 > 自动刷新,表示按照指定的时间间隔自动刷新仪表盘。时间间隔可设置为15秒、60秒、5分钟或15分钟。

设置仪表盘的查询时间(全局时间)

仪表盘的查询时间,即仪表盘的全局时间,可控制仪表盘中所有统计图表的查询时间范围。设置后,所有统计图表展示的是同一时段的查询和分析结果。

重要

选定的查询时间范围仅供临时查看结果,系统不会保存。下次查看仪表盘时,系统仍使用默认的时间范围。

  • 时间选择

    在仪表盘页面的右上方,单击时间选择,选择时间范围。选择时间范围后,将鼠标放在时间上,可查看具体的时间范围。时间说如下:

    时间选择

    说明

    相对时间

    表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31,设置相对时间1小时,表示查询18:20:31~19:20:31的日志数据。

    整点时间

    表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31,设置整点时间1小时,表示查询18:00:00~19:00:00的日志数据。

    自定义时间

    表示查询指定时间范围的日志数据。

  • 查看特定条件的仪表盘

    在仪表盘页面的右上方,单击时间选择,选择时间范围后,再单击仪表盘过滤器,添加过滤条件,表示查询指定时间和指定条件下的日志数据。例如当前是2024-09-06日,设置时间为昨天(相对),添加methodGETstatus200的过滤条件,表示查询2024-09-05 00:00:00 ~ 2024-09-06 00:00:00内method为GET,status为200的日志数据。

    image

分享仪表盘

创建仪表盘后,您可以分享到钉钉、企业微信或阿里云账号,也可以将仪表盘嵌入钉钉文档。具体操作,请参见免密分享与集成仪表盘

下钻分析定位异常

在仪表盘发现异常时,可以利用交互事件功能快速进行下钻分析,如在Logstore查询分析、Trace分析或访问其他仪表盘等,以实现定位异常根因。具体操作,请参见使用仪表盘下钻分析定位异常根因

订阅仪表盘

创建仪表盘后,您可以定期将仪表盘渲染为图片,通过邮件、钉钉等方式发送给指定人员。

重要

订阅仪表盘,有如下限制:

  • 统计图表Pro版本不支持订阅。

  • 每个仪表盘只能创建一个订阅任务。

  • 每天最多给每个邮箱发送50封邮件。

  • 每个Project中订阅任务和告警任务的总数最多100个。如果有特殊需求,请提工单申请调整限额。

  • 如果表格分页显示,订阅仪表盘时,仅支持发送表格第一页的数据截图。

dy-ch.gif

参数说明

参数

说明

订阅名称

订阅任务的名称。

频率

订阅仪表盘后,发送通知的频率。

  • 每小时:每小时发送一次订阅通知。

  • 每天:在每天的某个固定时间点发送一次订阅通知。

  • 每周:在周几的某个固定时间点发送一次订阅通知。

  • 固定间隔:按固定间隔发送订阅通知,单位为天。

  • Cron:通过Cron表达式指定时间间隔,Cron表达式最小单位为分钟,但建议设置间隔为1小时以上。例如Cron表达式为* 0/1 * * *,表示从0点开始,每隔1小时发送一次。

全局时间

  • 预设:发送订阅报表时,对应的查询时间范围为仪表盘中统计图表的查询时间范围。

    说明
    • 在仪表盘显示模式下,所有的查询时间范围都是临时的,仅供您动态查阅不同时间段的图表数据。

    • 在仪表盘编辑模式下,双击目标统计图表,然后在编辑页面,修改其查询时间范围。系统会保存该时间范围,即您下次查看该统计图表时,仍为该时间范围。

  • 自定义:发送订阅报表时,对应的查询时间范围为您在此处设置的自定义时间范围。

添加水印

在生成的图片上添加水印,水印内容为通知渠道地址,例如邮箱地址。

通知列表

订阅仪表盘的通知方式包括邮件、Webhook-钉钉机器人、Webhook-飞书机器人、Webhook-企业微信机器人和自定义Webhook。

  • 邮件

    • 收件人中填写邮箱地址,多个邮箱地址之间用英文逗号(,)分隔。

    • 主题中配置邮件主题。如果没有配置主题,日志服务将使用默认主题(日志服务报表)。

  • Webhook

    • 请求地址中填写对应的WebHook地址。如何获取钉钉机器人的WebHook地址,请参见通知渠道说明

    • 标题中配置通知标题。

图表类型

表格(Pro版本)

表格由一组或多组单元格组成,表格中的项被组织为行和列,表格的第一行称为表头,指明表格每一列的内容和意义。例如查询每个http_referer对应的响应体总字节数,并用线图展示body_bytes_sent

(*)| SELECT http_referer, array_agg(body_bytes_sent) as body_bytes_sent GROUP BY  http_referer 

image

使用场景表格(Pro版本)能够精确地展示每个数据项的具体数值。适用于数据分析、财务报表、科学实验记录等场景。

线图(Pro版本)

线图属于趋势类分析图表,一般用于表示一组数据在一个有序数据类别(多为连续时间间隔)上的变化情况,用于直观分析数据变化趋势。例如查询每个时间点的页面访问量(PV),并设置上下浮动范围展示。

(*)| select __time__ - __time__ % 60 as time, COUNT(*) as pv, COUNT(*) + 50 as pv2, COUNT(*) - 50 as pv3 GROUP BY time order by time 

image

使用场景线图(Pro版本)主要用于展示数据随时间或其他连续变量的变化趋势。适用于分析时间序列数据,如股票价格、气温变化、销售数据等场景。在线图中,可以清晰的观测到数据在某一个周期内的变化,例如:

  • 递增性或递减性

  • 增减的速率情况

  • 增减的规律(如周期变化)

  • 峰值和谷值

柱状图(Pro版本)

柱状图使用垂直的柱子显示类别之间的数值比较,用于描述分类数据,并统计每一个分类中的数量。例如展示UV最高的前5个host其页面访问量(PV)。

(*)| select host, COUNT(*) as pv, approx_distinct(remote_addr) as uv GROUP BY host ORDER BY uv desc LIMIT 5 

image

使用场景柱状图(Pro版本)主要用于比较不同类别或不同时间点的数据大小。适用于展示分类数据,如不同产品的销售量、不同地区的人口数量等。

统计图(Pro版本)

统计图可包含一个或多个单值图,单值图可用于突出显示单个数值。例如展示最近15分钟页面访问量(PV)

(*)| select COUNT(*) as PV 

image

使用场景统计图(Pro版本)主要用于比较不同类别或不同时间点的数据大小。适用于展示分类数据,如不同产品的销售量、不同地区的人口数量等。

饼图(Pro版本)

饼图通过将一个圆饼按照分类的占比划分成多个区块,整个圆饼代表数据的总量,每个区块(圆弧)表示该分类占总体的比例大小,所有区块(圆弧)的加和等于 100%。比如统计每个request_method(请求方法,如GET、POST等)的次数。

(*)| SELECT request_method, arbitrary(request_length) as len, COUNT(*) as c  group by request_method 

image

使用场景饼图(Pro版本)主要用于展示数据的占比关系。它适用于展示不同部分在整体中的比例,如不同产品的市场份额、各个部门的预算比例等。

地图(Pro版本)

以地图作为背景,通过图形颜色、图像标记的方式展示地理数据信息。比如按国家分组统计每个国家的记录数(count)。

(*)| select  ip_to_country(remote_addr) as address, count(1) as count group by address order by count desc limit 10 

image

使用场景地图(Pro版本)用于展示地理空间数据。适用于分析地理位置相关的数据,如人口分布、城市扩张、交通流量等。

选择更多图表,请参见计量图(Pro版本)Markdown图表(Pro版本)雷达图拓扑图交叉表散点图直方图桑基图词云矩形树图漏斗图气泡图

在仪表盘中添加统计图表

  1. 在仪表盘页面,单击右上角编辑,在编辑模式下,参考下图为仪表盘新添加一个图表。

    image

  2. 配置图表。

    例如使用线图(Pro版本)展示每日PV和UV的趋势。更多场景示例,请参见查询分析案例

    (*)| select date_trunc('day', __time__) AS dt, count(1) as pv,  count(distinct "event.sourceIpAddress" ) as uv group by dt order by dt 

    image

相关文档