全部产品
Search
文档中心

日志服务:写入处理器概述

更新时间:Oct 22, 2024

如果您需要在日志数据写入Logstore前对数据进行处理,例如数据过滤、字段提取、字段扩展、数据脱敏,可以使用写入处理器(IngestProcessor)。

工作原理

image

使用场景

  • 字段提取:从原始日志字段中通过正则表达式、Key-Value格式、JSON等解析方式提取出新的字段。

  • 扩展字段:为原始日志添加新的字段。

  • 丢弃字段:删除原始日志的部分字段。

  • 数据脱敏:将原始日志的敏感信息进行脱敏处理。

  • 数据过滤:丢弃原始日志的部分数据。

使用限制

  • 写入处理器个数、SPL语句长度、写入处理器个数等配额限制,请参见写入处理器(数据处理)

  • 目前功能在公测阶段,如需使用请提交。

支持地域

公共云

地域

华南2(河源)

泰国(曼谷)

西南1(成都)

德国(法兰克福)

中国香港

美国(硅谷)

韩国(首尔)

英国(伦敦)

马来西亚(吉隆坡)

阿联酋(迪拜)

印度尼西亚(雅加达)

沙特(利雅得)

重要

沙特(利雅得)地域由合作伙伴运营。

菲律宾(马尼拉)

金融云

华东2(上海金融云)

功能计费

写入处理器是按照数据处理过程中消耗的计算资源量进行计费,计费单位为OCU。

可观测资源额度OCU(Observability Capacity Unit)是阿里云云原生可观测推出的新版计费单位,可根据每小时资源使用情况自动统计OCU用量。

日志服务计算型功能收费计划逐步通过OCU进行计量,以用户实际消耗的计算资源作为计量的度量维度。一个OCU的性能约等于0.5 Core CPU、2 GB内存、3000 IOPS,在计算OCU的总数时,会按照消耗的CPU核心数、内存大小和IOPS三个维度分别计算三个OCU数量,然后取三个OCU数量的最大值作为OCU的最终值,用于计费。

假设您的计算作业消耗了1 Core CPU,2GB内存,3000 IOPS,则这个作业消耗2个OCU。在一个计量周期(1小时)内,计算平均消耗的OCU可参考:数据写入处理器处理1GB数据,大约消耗1/3个OCU。数据加工(新版)处理1GB数据,大约消耗1/3个OCU。规则消费处理1GB数据,约消耗0.3个OCU。

OCU的计费信息,请参见按写入数据量计费模式计费项按使用功能计费模式计费项