日志服务提供数据实时消费功能,支持通过SDK实时消费数据。本文介绍实时消费功能的概念、功能优势、应用场景、计费规则、消费目标等信息。
实时消费
实时消费是指第三方软件、多语言应用、云产品、流式计算框架等通过SDK实时消费日志服务的数据。实时消费是对全量数据的顺序读写,类似于消息中间件Kafka的功能。实时消费支持传入日志服务数据处理SPL语句,服务端返回处理结果,详情请参见基于规则消费日志。
实时消费和查询与分析都是读取数据。关于两者的区别,请参见日志消费与查询区别。
应用场景
实时消费适用于流计算、实时计算等场景。实时消费的实时性较强,通常为秒级。您可以自定义存储时间。
功能优势
实时消费具有以下优势:
数据集中
日志服务已完成不同机器上的数据集中化,您只需通过SDK实时消费采集到的日志服务数据。
分类管理
您可以利用日志服务的数据分类管理功能,实现不同的应用和产品实时消费不同项目、不同类型的数据。
计费规则
若涉及的Logstore的计费模式为按写入数据量计费模式,实时消费将不产生费用,仅从日志服务公网域名所在接口拉取数据时,会产生外网读取流量(按照压缩后的数据量计算)。具体内容,可参见按写入数据量计费模式计费项。Logstore的计费模式的查看步骤,请参见管理Logstore。
若涉及的Logstore的计费模式为按功能付费模式,实时消费涉及多个计费项,包括读写流量、请求费用等。更多信息,请参见按使用功能计费模式计费项。
消费目标
日志服务支持的实时消费目标如下表所示。
类型 | 目标 | 说明 |
第三方软件 | Splunk | 您可以通过Splunk实时消费日志服务的数据。具体操作,请参见阿里云日志服务Splunk Add-on。 |
Flume | 您可以通过Flume实时消费日志服务的数据。具体操作,请参见Flume消费。 | |
Logstash | 您可以通过Logstash实时消费日志服务的数据。具体操作,请参见Logstash消费。 | |
QRadar | QRadar等安全信息与事件管理系统可以通过HTTPS协议或Syslog协议实时消费日志服务的数据。具体操作,请参见通过HTTPS投递日志到SIEM和通过Syslog投递日志到SIEM。 | |
多语言应用 | 多语言应用 | Java、Python、Go等语言的应用作为消费者或消费组消费日志服务的数据。具体操作,请参见通过API消费和通过消费组消费数据。 |
流式计算 | Flink | 您可以通过流式计算框架Flink实时消费日志服务的数据。具体操作,请参见Flink消费。 |
Spark | 您可以通过流式计算框架Spark实时消费日志服务的数据。具体操作,请参见Spark Streaming消费。 | |
云产品 | 函数计算 | 您可以通过函数计算实时消费日志服务的数据。具体操作,请参见通过函数计算消费日志数据。 |
Blink | 您可以通过实时计算实时消费日志服务的数据。具体操作,请参见实时计算(Flink)消费。 |