日志服务支持通过索引模式查询和分析日志。该功能结合了SQL计算功能。本文介绍查询与分析功能的基本语法、使用限制和SQL函数等信息。
如果您要查询与分析日志,则必须将日志采集到Standard Logstore中,且在配置索引时打开对应字段的开启统计开关。更多信息,请参见管理Logstore、创建索引。
如果您需要查询百亿级的日志数据量,您可以反复执行(10次以内)某查询语句获取最终完整的结果。更多信息,请参见控制台提示“查询结果不精确”,如何解决?。
日志服务默认存在保留字段。如果您要分析保留字段,请参见保留字段。
基本语法
查询语句中建议不超过30个条件。
分析语句默认分析当前Logstore中的数据,不需要填写FROM子句和WHERE子句。
分析语句不支持使用offset,不区分大小写,末尾不需要加分号。
查询语句和分析语句以竖线|
分割。查询语句可单独使用,分析语句必须与查询语句一起使用。即分析功能是基于查询结果或全量数据进行的。
查询语句|分析语句
类型 | 说明 |
查询语句 | 查询语句用于指定日志查询时的过滤规则,返回符合条件的日志。查询条件可使用关键词、数值、数值范围、空格、星号(*)等。 如果为空格或星号(*),表示无过滤条件。更多信息,请参见查询语法。 |
分析语句 | 对查询结果或全量数据进行计算和统计。更多信息,请参见使用SPL查询和分析日志、SQL分析语法与功能。 |
示例
* | SELECT status, count(*) AS PV GROUP BY status
查询与分析结果如下图所示:
在Logstore中进行实时查询和分析操作,请参见查询和分析日志。
高级功能
LiveTail:日志服务在控制台提供了日志实时监控的交互功能LiveTail,针对线上日志进行实时监控分析,减轻运维压力。
日志聚类:在采集日志时,将相似度高的日志聚合,提取共同的日志模式(Pattern),快速掌握日志全貌。
上下文查询:通过查看指定日志的上下文信息,您可以在业务故障排查中快速查找相关故障信息,方便定位问题。
字段分析:此功能涵盖了字段的基本分布情况、各种统计指标以及TOP5的时间序列图,为用户提供了深入的数据洞察和可视化工具,便于理解和挖掘。
事件配置:事件配置为原始日志提供可视化、易操作的日志钻取功能,方便您获取更详尽的日志信息。
跨LogStore查询日志(StoreView):通过StoreView功能,可实现跨地域、跨Store联合查询。
查询功能使用限制
限制项 | 说明 |
关键词个数 | 关键词查询时,除布尔逻辑符外的条件个数。每次查询最多30个。 |
字段值大小 | 单个字段值最大为512 KB,超出部分不参与查询。 如果单个字段长度大于512 KB,有一定几率无法通过关键词查询到日志,但数据仍然是完整的。 |
操作并发数 | 单个Project支持的最大查询操作并发数为100个。 例如100个用户同时在同一个Project的各个Logstore中执行查询操作。 |
返回结果 | 每次查询时,每页最多显示100条查询结果,您可翻页读取完整的查询结果。 |
模糊查询 | 执行模糊查询时,日志服务最多查询到符合条件的100个词,并返回包含这100个词并满足查询条件的所有日志。更多信息,请参见模糊查询。 |
查询结果排序 | 默认按照秒级时间(如果存在纳秒级则以纳秒级时间)从最新开始展示。 |
分析功能使用限制
限制项 | 普通实例 | 独享实例 |
操作并发数 | 单个Project支持的最大分析操作并发数为15个。 例如最大支持15个用户同时在一个Project的各个Logstore中执行分析操作。 | 单个Project支持的最大分析操作并发数为100个。 例如最大支持100个用户同时在一个Project的各个Logstore中执行分析操作。 |
数据量 | 单个Shard单次仅支持分析1 GB数据。 | 单次分析最大支持扫描2000亿行数据。 |
开启模式 | 默认开启。 | 通过开关开启。具体操作,请参见开启SQL独享版。 |
费用 | 免费。 | 根据实际使用的CPU时间付费。 |
数据生效机制 | 分析功能只对开启统计功能后写入的数据生效。 如果您需要分析历史数据,请对历史数据重建索引。更多信息,请参见重建索引。 | 分析功能只对开启统计功能后写入的数据生效。 如果您需要分析历史数据,请对历史数据重建索引。更多信息,请参见重建索引。 |
返回结果 | 执行分析操作后,默认最多返回100行数据。 如果您需要返回更多数据,请使用LIMIT语法。更多信息,请参见LIMIT子句。 | 执行分析操作后,默认最多返回100行数据。 如果您需要返回更多数据,请使用LIMIT语法。更多信息,请参见LIMIT子句。 |
字段值大小 | 单个字段值最大长度为16 KB(16384字节),超出部分不参与分析。 说明 默认支持的字段值最大长度为2048字节,即2 KB。如果您需要修改字段值的最大长度,可设置统计字段(text)最大长度。更新索引设置只对增量数据有效。具体操作,请参见创建索引。 | 单个字段值最大长度为16 KB(16384字节),超出部分不参与分析。 说明 默认支持的字段值最大长度为2048字节,即2 KB。如果您需要修改字段值的最大长度,可设置统计字段(text)最大长度。更新索引设置只对增量数据有效。具体操作,请参见创建索引。 |
超时时间 | 分析操作的最大超时的时间为55秒。 | 分析操作的最大超时的时间为55秒。 |
Double类型的字段值位数 | Double类型的字段值最多52位。 如果浮点数编码位数超过52位,会造成精度损失。 | Double类型的字段值最多52位。 如果浮点数编码位数超过52位,会造成精度损失。 |