全部产品
Search
文档中心

日志服务:数据处理

更新时间:Dec 17, 2024

如果您需要在日志数据写入Logstore前对数据进行处理,例如数据过滤、字段提取、字段扩展、数据脱敏,可以使用写入处理器(IngestProcessor)。

工作原理

image

使用场景

  • 字段提取:从原始日志字段中通过正则表达式、Key-Value格式、JSON等解析方式提取出新的字段。

  • 扩展字段:为原始日志添加新的字段。

  • 丢弃字段:删除原始日志的部分字段。

  • 数据脱敏:将原始日志的敏感信息进行脱敏处理。

  • 数据过滤:丢弃原始日志的部分数据。

使用限制

功能计费

写入处理器是按照数据处理过程中消耗的计算资源量进行计费,计费单位为OCU。

可观测资源额度OCU(Observability Capacity Unit)是阿里云云原生可观测推出的新版计费单位,可根据每小时资源使用情况自动统计OCU用量。

日志服务计算型功能收费计划逐步通过OCU进行计量,以用户实际消耗的计算资源作为计量的度量维度。一个OCU的性能约等于0.5 Core CPU、2 GB内存、3000 IOPS,在计算OCU的总数时,会按照消耗的CPU核心数、内存大小和IOPS三个维度分别计算三个OCU数量,然后取三个OCU数量的最大值作为OCU的最终值,用于计费。

假设您的计算作业消耗了1 Core CPU,2GB内存,3000 IOPS,则这个作业消耗2个OCU。在一个计量周期(1小时)内,计算平均消耗的OCU可参考:数据写入处理器处理1GB数据,大约消耗1/3个OCU。数据加工(新版)处理1GB数据,大约消耗1/3个OCU。规则消费处理1GB数据,约消耗0.3个OCU。

OCU的计费信息,请参见按写入数据量计费模式计费项按使用功能计费模式计费项