日志服务提供日志消费和查询功能,都均为对日志数据的读操作。
日志消费
全量数据顺序(FIFO)读写,提供类似Kafka的功能。
每个LogStore有一个或多个Shard,数据写入时,随机落到某一个Shard中。
可以从指定Shard中,按照日志写入Shard的顺序批量读取日志。
根据接收日志的时间,设置批量读取Shard日志的起始位置(cursor)。
日志查询(LogSearch)
提供海量日志查询和分析功能,根据条件进行日志查询与统计。
通过查询条件查找符合要求的数据。
支持运算符AND、NOT、OR的多条件组合查询和结果SQL统计。
数据查询不区分Shard。
区别
对比项目 | 日志查询 | 日志消费 |
查找关键词 | 支持 | 不支持 |
读取少量数据 | 快 | 快 |
读取全量数据 | 慢(100条日志100ms,不建议通过该方式读取数据。) | 快(1 MB日志10ms,推荐方式。) |
读取是否区分日志主题 | 区分 | 不区分,只以Shard作为标识。 |
读取是否区分Shard | 不区分,查询所有Shard。 | 区分,单次读取需要指定Shard。 |
费用 | 较高 | 低 |
适用场景 | 监控、问题调查与分析等场景。 | 流式计算、批量处理等全量处理场景。 |