全部产品
Search
文档中心

日志服务:UpdateLogtailPipelineConfig - 更新Logtail流水线配置

更新时间:Nov 13, 2024

更新Logtail流水线配置。

调试

您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。

授权信息

下表是API对应的授权信息,可以在RAM权限策略语句的Action元素中使用,用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下:

  • 操作:是指具体的权限点。
  • 访问级别:是指每个操作的访问级别,取值为写入(Write)、读取(Read)或列出(List)。
  • 资源类型:是指操作中支持授权的资源类型。具体说明如下:
    • 对于必选的资源类型,用背景高亮的方式表示。
    • 对于不支持资源级授权的操作,用全部资源表示。
  • 条件关键字:是指云产品自身定义的条件关键字。
  • 关联操作:是指成功执行操作所需要的其他权限。操作者必须同时具备关联操作的权限,操作才能成功。
操作访问级别资源类型条件关键字关联操作
log:UpdateLogtailPipelineConfigupdate
  • 全部资源
    *
  • log:TLSVersion

请求语法

PUT /pipelineconfigs/{configName} HTTP/1.1

请求参数

名称类型必填描述示例值
projectstring

Project 名称。

test-project
configNamestring

Logtail 流水线配置名称。

test-config
bodyobject

Logtail 流水线配置内容。

configNamestring

配置名称。

注意 需要与外层的 configName 参数保持一致。

test-config
logSamplestring

日志样例。支持多条日志。

2022-06-14 11:13:29.796 | DEBUG | __main__:<module>:1 - hello world
globalobject

全局配置。

inputsarray<object>

输入插件列表。

注意 目前,只允许配置 1 个输入插件。

object

输入插件。

说明 文件输入插件参数请参见文件插件,其余输入插件参数请参见处理插件
{ "Type": "input_file", "FilePaths": ["/var/log/*.log"] }
processorsarray<object>

输入插件列表。

说明 可分为原生处理插件和扩展处理插件,详情请参见处理插件
注意
  • 原生插件仅可用于采集文本日志。
  • 不支持同时添加原生插件和扩展插件。
  • 使用原生插件时,须符合如下要求:
    • 第一个处理插件必须为正则解析插件、分隔符模式解析插件、JSON 解析插件、NGINX 模式解析插件、Apache 模式解析插件或 IIS 模式解析插件。
    • 第一个处理插件之后仅允许存在 1 个时间解析处理插件,1 个过滤插件和多个脱敏插件。
object

处理插件。

说明 详情请参见处理插件
{ "Type": "processor_parse_json_native", "SourceKey": "content" }
aggregatorsarray<object>

聚合插件列表。

注意 仅当使用了扩展处理插件时有效,且最多允许使用 1 个聚合插件。

object

聚合插件。

flushersarray<object>

输出插件列表。

注意 目前,只允许存在 1 个 SLS 输出插件。

object

输出插件。

{ "Type": "flusher_sls", "Logstore": "test" }

全局配置

参数类型是否必填默认值示例说明
TopicTypestringfilepathTopic 类型。可选值包括:
  • filepath:从日志文件路径中提取信息作为 Topic。仅当输入插件为 input_file 时有效。
  • machine_group_topic:将应用该配置的机器组 Topic 作为 Topic。
  • custom:自定义 Topic 更多信息,请参见日志主题
TopicFormatstring否,当 TopicType 取值为 filepath 或 custom 时必填//var/log/(.*).logTopic 格式。
EnableTimestampNanosecondboolfalsefalse是否启用时间纳秒精度。

输入插件

文本输入插件

参数类型是否必填默认值示例说明
Typestring/input_file插件类型。固定为 input_file。
FilePaths[string]/["/var/log/*.log"]待采集的日志文件路径列表(目前仅限 1 个路径)。路径中支持使用*和**通配符,其中**通配符仅能出现一次且仅限用于文件名前。
MaxDirSearchDepthuint00文件路径中**通配符匹配的最大目录深度。仅当日志路径中存在**通配符时有效,取值范围为 0~1000。
ExcludeFilePaths[string]["/home/admin/*.log"]文件路径黑名单。路径必须为绝对路径,支持使用*通配符
ExcludeFiles[string]["app*.log", "password"]文件名黑名单。支持使用*通配符
ExcludeDirs[string]["/home/admin/dir1", "/home/admin/dir2*"]目录黑名单。路径必须为绝对路径,支持使用*通配符
FileEncodingstringutf8utf8文件编码格式。可选值包括 utf8 和 gbk。
TailSizeKBuint10241024配置首次生效时,匹配文件的起始采集位置距离文件结尾的大小。如果文件大小小于该值,则从头开始采集,取值范围为 0~10485760KB。
Multilineobject/多行聚合选项。
Multiline.Modestringcustomcustom多行聚合模式。可选值包括 custom 和 JSON。
Multiline.StartPatternstring当 Multiline.Mode 取值为 custom 时必填\d+-\d+-\d+.*行首正则表达式。
EnableContainerDiscoveryboolfalsetrue是否启用容器发现功能。仅当 Logtail 以 Daemonset 模式运行,且采集文件路径为容器内路径时有效。
ContainerFiltersobject/容器过滤选项。多个选项之间为“且”的关系,仅当 EnableContainerDiscovery 取值为 true 时有效。
ContainerFilters.K8sNamespaceRegexstringdefault对于部署于 K8s 环境的容器,指定待采集容器所在 Pod 所属的命名空间条件。如果未添加该参数,则表示采集所有容器。支持正则匹配。
ContainerFilters.K8sPodRegexstringtest-pod对于部署于 K8s 环境的容器,指定待采集容器所在 Pod 的名称条件。如果未添加该参数,则表示采集所有容器。支持正则匹配。
ContainerFilters.IncludeK8sLabelmap/对于部署于 K8s 环境的容器,指定待采集容器所在 pod 的标签条件。多个条件之间为“或”的关系,如果未添加该参数,则表示采集所有容器。支持正则匹配。 map 中的 key 为 Pod 标签名,value 为 Pod 标签的值,说明如下:
  • 如果 map 中的 value 为空,则 pod 标签中包含以 key 为键的 pod 都会被匹配;
  • 如果 map 中的 value 不为空,则:
    • 若 value 以^开头并且以$结尾,则当 pod 标签中存在以 key 为标签名且对应标签值能正则匹配 value 的情况时,相应的 pod 会被匹配;
    • 其他情况下,当 pod 标签中存在以 key 为标签名且以 value 为标签值的情况时,相应的 pod 会被匹配。
ContainerFilters.ExcludeK8sLabelmap/对于部署于 K8s 环境的容器,指定需要排除采集容器所在 pod 的标签条件。多个条件之间为“或”的关系,如果未添加该参数,则表示采集所有容器。支持正则匹配。 map 中的 key 为 pod 标签名,value 为 pod 标签的值,说明如下:
  • 如果 map 中的 value 为空,则 pod 标签中包含以 key 为键的 pod 都会被匹配;
  • 如果 map 中的 value 不为空,则:
    • 若 value 以^开头并且以$结尾,则当 pod 标签中存在以 key 为标签名且对应标签值能正则匹配 value 的情况时,相应的 pod 会被匹配;
    • 其他情况下,当 pod 标签中存在以 key 为标签名且以 value 为标签值的情况时,相应的 pod 会被匹配。
ContainerFilters.K8sContainerRegexstringtest-container对于部署于 K8s 环境的容器,指定待采集容器的名称条件。如果未添加该参数,则表示采集所有容器。支持正则匹配。
ContainerFilters.IncludeEnvmap/指定待采集容器的环境变量条件。多个条件之间为“或”的关系,如果未添加该参数,则表示采集所有容器。支持正则匹配。 map 中的 key 为环境变量名,value 为环境变量的值,说明如下:
  • 如果 map 中的 value 为空,则容器环境变量中包含以 key 为键的容器都会被匹配;
  • 如果 map 中的 value 不为空,则:
    • 若 value 以^开头并且以$结尾,则当容器环境变量中存在以 key 为环境变量名且对应环境变量值能正则匹配 value 的情况时,相应的容器会被匹配;
    • 其他情况下,当容器环境变量中存在以 key 为环境变量名且以 value 为环境变量值的情况时,相应的容器会被匹配。
ContainerFilters.ExcludeEnvmap/指定需要排除采集容器的环境变量条件。多个条件之间为“或”的关系,如果未添加该参数,则表示采集所有容器。支持正则匹配。 map 中的 key 为环境变量名,value 为环境变量的值,说明如下:
  • 如果 map 中的 value 为空,则容器环境变量中包含以 key 为键的容器都会被匹配;
  • 如果 map 中的 value 不为空,则:
    • 若 value 以^开头并且以$结尾,则当容器环境变量中存在以 key 为环境变量名且对应环境变量值能正则匹配 value 的情况时,相应的容器会被匹配;
    • 其他情况下,当容器环境变量中存在以 key 为环境变量名且以 value 为环境变量值的情况时,相应的容器会被匹配。
ContainerFilters.IncludeContainerLabelmap/指定待采集容器的标签条件。多个条件之间为“或”的关系,如果未添加该参数,则默认为空,表示采集所有容器。支持正则匹配。 map 中的 key 为容器标签名,value 为容器标签的值,说明如下:
  • 如果 map 中的 value 为空,则容器标签中包含以 key 为键的容器都会被匹配;
  • 如果 map 中的 value 不为空,则:
    • 若 value 以^开头并且以$结尾,则当容器标签中存在以 key 为标签名且对应标签值能正则匹配 value 的情况时,相应的容器会被匹配;
    • 其他情况下,当容器标签中存在以 key 为标签名且以 value 为标签值的情况时,相应的容器会被匹配。
ContainerFilters.ExcludeContainerLabelmap/指定需要排除采集容器的标签条件。多个条件之间为“或”的关系,如果未添加该参数,则默认为空,表示采集所有容器。支持正则匹配。 map 中的 key 为容器标签名,value 为容器标签的值,说明如下:
  • 如果 map 中的 value 为空,则容器标签中包含以 key 为键的容器都会被匹配;
  • 如果 map 中的 value 不为空,则:
    • 若 value 以^开头并且以$结尾,则当容器标签中存在以 key 为标签名且对应标签值能正则匹配 value 的情况时,相应的容器会被匹配;
    • 其他情况下,当容器标签中存在以 key 为标签名且以 value 为标签值的情况时,相应的容器会被匹配。
ExternalK8sLabelTagmap/对于部署于 K8s 环境的容器,需要在日志中额外添加的与 Pod 标签相关的 tag。map 中的 key 为 Pod 标签名,value 为对应的 tag 名。 例如:在 map 中添加app: k8s\_label\_app,则若 pod 中包含app=serviceA的标签时,会将该信息以 tag 的形式添加到日志中,即添加字段__tag__:k8s_label_app: serviceA;若不包含app标签,则会添加空字段__tag__:k8s_label_app:
ExternalEnvTagmap/对于部署于 K8s 环境的容器,需要在日志中额外添加的与容器环境变量相关的 tag。map 中的 key 为环境变量名,value 为对应的 tag 名。 例如:在 map 中添加VERSION: env\_version,则当容器中包含环境变量VERSION=v1.0.0时,会将该信息以 tag 的形式添加到日志中,即添加字段__tag__:env_version: v1.0.0;若不包含VERSION环境变量,则会添加空字段__tag__:env_version:
CollectingContainersMetaboolfalsetrue是否启用容器元信息预览。
AppendingLogPositionMetaboolfalsefalse是否在日志中添加该条日志所属文件的元信息,包括__tag__:__inode__字段和__file_offset__字段。
AllowingIncludedByMultiConfigsboolfalsefalse是否允许当前配置采集其它配置已匹配的文件。

MySQL 输入插件

参数类型是否必填默认值示例说明
Typestring/service_mysql插件类型。固定为 service_mysql。
Addressstring127.0.0.1:3306rm-*.mysql.rds.aliyuncs.comMySQL 地址。
Userstringrootroot用于登录 MySQL 数据库的用户名称。
Passwordstring用于登录 MySQL 数据库的用户密码。如果安全需求较高,建议将用户名称和密码配置为 xxx,待采集配置同步至本地机器后,在本地文件/usr/local/ilogtail/user_log_config.json中找到对应配置进行修改。具体操作,请参见修改本地配置
注意 如果您在控制台上修改了此参数,同步至本地后会覆盖本地的配置。
DataBasestring/project_database数据库名称。
DialTimeOutMsint50005000连接 MySQL 数据库超时时间,单位:ms。
ReadTimeOutMsint50005000读取 MySQL 查询结果的超时时间,单位:ms。
StateMentstring/SELECT 语句。设置 CheckPoint 为 true 时,Statement 中 SELECT 语句的 where 条件中必须包含 CheckPoint 列(CheckPointColumn)。支持使用半角问号(?)表示替换符,与 CheckPoint 列配合使用。 例如设置 CheckPointColumn 为 id,设置 CheckPointStart 为 0,设置 StateMent 为SELECT * from ... where id > ?。则每次采集后,系统会保存最后一条数据的 ID 作为 Checkpoint,下次采集时查询语句中的半角问号(?)将被替换为该 Checkpoint 对应的 ID。
Limitboolfalsetrue是否使用 Limit 分页。
  • true:使用。
  • false(默认值):不使用。
建议使用 Limit 进行分页。设置 Limit 为 true 后,进行 SQL 查询时,系统将自动在 SELECT 语句中追加 LIMIT 语句。
PageSizeint/10分页大小,Limit 为 true 时必须配置。
MaxSyncSizeint00每次同步最大记录数。默认值为 0,表示无限制。
CheckPointboolfalsetrue是否使用 CheckPoint。
  • true:使用。
  • false(默认值):不使用。
CheckPoint 可作为下次采集数据的起点,实现数据增量采集。
CheckPointColumnstring1CheckPoint 列名称。设置 CheckPoint 为 true 时,需要配置。 警告 该列的值必须递增,否则可能会出现数据漏采集问题(每次查询结果中的最大值将作为下次查询的输入)。
CheckPointColumnTypestringintCheckPoint 列的数据类型,支持 int 和 time。int 类型的内部存储为 int64,time 类型支持 MySQL 的 date、datetime、time 类型。设置 CheckPoint 为 true 时,需要配置。
CheckPointStartstringCheckPoint 列的初始值。设置 CheckPoint 为 true 时,需要配置。
CheckPointSavePerPagebooltruetrue是否每次分页时保存一次 CheckPoint。
  • true(默认值):每次分页时保存一次 CheckPoint。
  • false:每次同步完成后保存一次 CheckPoint。
IntervalMsint6000060000同步间隔,默认值为 60000,单位:ms。

HTTP 输入插件

参数类型是否必填默认值示例说明
Typestring/metric_http插件类型。固定为 metric_http。
Addressstring/URL 列表。 重要 必须以httphttps开头。
IntervalMsint/10每次请求的间隔,单位:ms。
MethodstringGETGET请求的方法名,必须大写。
BodystringHTTP Body 字段内容。
Headersmap{"key":"value"}HTTP Header 的内容,例如{"key":"value"},请根据实际值替换。
PerAddressSleepMsint100100Addresses 列表中,每个 URL 请求的间隔时间,单位:ms。
ResponseTimeoutMsint50005000请求超时的时间,单位:ms。
IncludeBodyboolfalsetrue是否采集请求的 Body,默认值:false。如果为 true,则将请求 Body 内容存放在名为 content 的 key 中。
FollowRedirectsboolfalsefalse是否自动处理重定向。
InsecureSkipVerifyboolfalsefalse是否跳过 HTTPS 安全检查。
ResponseStringMatchstring/对返回的 Body 内容进行正则表达式检查,检查结果被存放在名为_response_match_的 key 中,如果匹配,value 为 yes;如果不匹配,value 为 no。

Syslog 输入插件

参数类型是否必填默认值示例说明
Typestring/service_syslog数据源类型,固定为 service_syslog。
Addressstringtcp://127.0.0.1:9999指定 Logtail 监听的协议、地址和端口,Logtail 会根据 Logtail 配置进行监听并获取日志数据。格式为[tcp/udp]://[ ip ]:[ port ]。不配置时,默认为tcp://127.0.0.1:9999,即表示(只能接收本地转发的日志。 说明
  • Logtail 配置中设置的监听协议、地址和端口号必须与 rsyslog 配置文件设置的转发规则相同。
  • 如果安装 Logtail 的服务器有多个 IP 地址可接收日志,可以将地址配置为0.0.0.0,表示监听服务器的所有 IP 地址。
ParseProtocolstringrfc3164指定解析日志所使用的协议,默认为空,表示不解析。其中:
  • 空:不解析。
  • rfc3164:指定使用 RFC3164 协议解析日志。
  • rfc5424:指定使用 RFC5424 协议解析日志。
  • auto:指定 Logtail 根据日志内容自动选择合适的解析协议。
IgnoreParseFailurebooltruetrue指定解析失败后的操作,不配置时,默认为true,表示放弃解析,直接填充所返回的 content 字段。配置为false ,表示解析失败时丢弃日志。

Systemd Journal 输入插件

参数类型是否必填默认值示例说明
Typestring/service_journal数据源类型,固定为 service_journal。
JournalPaths[string]/var/log/journalJournal 日志路径,建议配置为 Journal 日志所在目录。
SeekPositionstringtailtail首次采集方式,可以配置为 head 或 tail。
  • head 表示采集所有数据。
  • tail 表示只采集 Logtail 采集配置被应用后的新数据。
Kernelbooltruetrue是否采集内核日志,表示采集内核日志。
Units[string]""指定采集的 Unit 列表,默认为空,表示全部采集。
ParseSyslogFacilityboolfalsefalse是否解析 syslog 日志的 facility 字段。不配置时,表示不解析。
ParsePriorityboolfalsefalse是否解析 Priority 字段。不配置时,表示不解析。 设置为 true 时,Priority 字段的映射关系如下所示。 plaintext "0": "emergency" "1": "alert" "2": "critical" "3": "error" "4": "warning" "5": "notice" "6": "informational" "7": "debug"
UseJournalEventTimeboolfalsefalse是否使用 Journal 日志中的字段作为日志时间。不配置时,表示使用采集时间作为日志时间。实时日志采集一般相差 3 秒以内。

SQL Server 输入插件

参数类型是否必填默认值示例说明
Typestring/service_mssql插件类型。固定为 service_mssql。
Addressstring127.0.0.1:1433rm-*.sqlserver.rds.aliyuncs.comSQL Server 地址。
Userstringrootroot用于登录 SQL Server 数据库的账号名称。
Passwordstring用于登录 SQL Server 数据库的账号密码。如果安全需求较高,建议将用户名称和密码配置为 xxx,待采集配置同步至本地机器后,在本地文件/usr/local/ilogtail/user_log_config.json中找到对应配置进行修改。具体操作,请参见修改本地配置
注意 如果您在控制台上修改了此参数,同步至本地后会覆盖本地的配置。
DataBasestring/project_database数据库名称。
DialTimeOutMsint50005000连接 SQL Server 数据库的超时时间,单位:ms。
ReadTimeOutMsint50005000读取 SQL Server 查询结果的超时时间,单位:ms。
StateMentstring/SELECT 语句。设置 CheckPoint 为 true 时,Statement 中 SELECT 语句的 where 条件中必须包含 CheckPoint 列(CheckPointColumn)。支持使用半角问号(?)表示替换符,与 CheckPoint 列配合使用。 例如设置 CheckPointColumn 为 id,设置 CheckPointStart 为 0,设置 StateMent 为SELECT * from ... where id > ?。则每次采集后,系统会保存最后一条数据的 ID 作为 Checkpoint,下次采集时查询语句中的半角问号(?)将被替换为该 Checkpoint 对应的 ID。
Limitboolfalsetrue是否使用 Limit 分页。
  • true:使用。
  • false(默认值):不使用。
建议使用 Limit 进行分页。设置 Limit 为 true 后,进行 SQL 查询时,系统将自动在 SELECT 语句中追加 LIMIT 语句。
PageSizeint/10分页大小,Limit 为 true 时必须配置。
MaxSyncSizeint00每次同步最大记录数。默认值为 0,表示无限制。
CheckPointboolfalsetrue是否使用 CheckPoint。
  • true:使用。
  • false(默认值):不使用。
CheckPoint 可作为下次采集数据的起点,实现数据增量采集。
CheckPointColumnstring1CheckPoint 列名称。CheckPoint 为 true 时必须配置。 警告 该列的值必须递增,否则可能会出现数据漏采集问题(每次查询结果中的最大值将作为下次查询的输入)。
CheckPointColumnTypestringintCheckPoint 列的数据类型,支持 int 和 time。int 类型的内部存储为 int64,time 类型支持 SQL Server 的 date、datetime、time 类型。设置 CheckPoint 为 true 时,需要配置。
CheckPointStartstringCheckPoint 列的初始值。设置 CheckPoint 为 true 时,需要配置。
CheckPointSavePerPagebooltruetrue是否每次分页时保存一次 CheckPoint。
  • true(默认值):每次分页时保存一次 CheckPoint。
  • false:每次同步完成后保存一次 CheckPoint。
IntervalMsint6000060000同步间隔,默认值为 60000,单位:ms。

PostgreSQL 输入插件

参数类型是否必填默认值示例说明
Typestring/service_pgsql插件类型。固定为 service_pgsql。
Addressstring127.0.0.1:5432rm-*.pg.rds.aliyuncs.comPostgreSQL 地址。
Userstringrootroot用于登录 PostgreSQL 地址数据库的账号名称。
Passwordstring用于登录 PostgreSQL 数据库的账号密码。如果安全需求较高,建议将用户名称和密码配置为 xxx,待采集配置同步至本地机器后,在本地文件/usr/local/ilogtail/user_log_config.json中找到对应配置进行修改。具体操作,请参见修改本地配置
注意 如果您在控制台上修改了此参数,同步至本地后会覆盖本地的配置。
DataBasestring/project_databasePostgreSQL 数据库名称。
DialTimeOutMsint50005000连接 PostgreSQL 数据库的超时时间,单位:ms。
ReadTimeOutMsint50005000读取 PostgreSQL 查询结果的超时时间,单位:ms。
StateMentstring/SELECT 语句。 设置 CheckPoint 为 true 时,StateMent 中 SELECT 语句的 where 条件中必须包含 CheckPoint 列(CheckPointColumn 参数),并将该列的值设置为$1。例如:设置 CheckPointColumn 为 id,设置 StateMent 为SELECT * from ... where id > $1
Limitboolfalsetrue是否使用 Limit 分页。
  • true:使用。
  • false(默认值):不使用。
建议使用 Limit 进行分页。设置 Limit 为 true 后,进行 SQL 查询时,系统将自动在 SELECT 语句中追加 LIMIT 语句。
PageSizeint/10分页大小,Limit 为 true 时必须配置。
MaxSyncSizeint00每次同步最大记录数。默认值为 0,表示无限制。
CheckPointboolfalsetrue是否使用 CheckPoint。
  • true:使用。
  • false(默认值):不使用。
CheckPoint 可作为下次采集数据的起点,实现数据增量采集。
CheckPointColumnstring1CheckPoint 列名称。CheckPoint 为 true 时必须配置。 警告 该列的值必须递增,否则可能会出现数据漏采集问题(每次查询结果中的最大值将作为下次查询的输入)。
CheckPointColumnTypestringintCheckPoint 列的数据类型,支持 int 和 time。int 类型的内部存储为 int64,time 类型支持 PostgreSQL 的时间类型。设置 CheckPoint 为 true 时,需要配置。
CheckPointStartstringCheckPoint 列的初始值。设置 CheckPoint 为 true 时,需要配置。
CheckPointSavePerPagebooltruetrue是否每次分页时保存一次 CheckPoint。
  • true(默认值):每次分页时保存一次 CheckPoint。
  • false:每次同步完成后保存一次 CheckPoint。
IntervalMsint6000060000同步间隔,默认值为 60000,单位:ms。

SNMP 协议输入插件

参数类型是否必填默认值示例说明
Targets[string]/127.0.0.1目标机器组的 IP 地址。
Portstring161161SNMP 协议使用的端口。
Communitystringpublicpublic团体名称,SNMPv1 和 SNMPv2 使用团体名进行认证。
UserNamestringroot用户名,SNMPv3 支持使用用户名进行认证。
AuthenticationProtocolstringNoAuthNoAuth验证协议,SNMPv3 支持使用验证协议进行认证。
AuthenticationPassphrasestring验证密码,默认值为空。设置AuthenticationProtocolMD5SHA时,需要设置AuthenticationPassphrase
PrivacyProtocolstringNoPrivNoPriv隐私协议,SNMPv3 支持使用隐私协议进行认证。
PrivacyPassphrasestring隐私协议密码,默认与验证密码一致。 当设置PrivacyProtocolDESAES时,必须设置PrivacyPassphrase
Timeoutint55一次查询操作的超时时间,单位为秒。
Versionint22SNMP 协议版本。 可选值为123
TransportstringudpudpSNMP 通讯方法,可选值为udptcp
MaxRepetitionsint00查询超时后的重试次数。
Oids[string]1在目标机器中查询的对象标识符。
Fields[string]int在目标机器中查询的字段,本插件会先对字段进行翻译,即查找本地管理信息库,将其翻译为对象标识符并一起查询。
Tables[string]在目标机器中查询的表,本插件会先查询表内所有的字段,然后查找本地管理信息库,将其翻译为对象标识符并一起查询。

脚本输出采集插件

参数类型是否必填默认值示例说明
Typestring/input_command数据源类型,固定为 input_command。
ScriptTypestringshell指定脚本内容的类型,目前支持 bash、shell、python2、python3。
Userstring/public运行命令使用的用户名,只支持非 Root 用户。 说明 * 请确保指定的用户名在机器中存在。 建议配置最小权限,只授予需要关注的目录或文件 rwx 权限 。
ScriptContentstring脚本内容,支持 PlainText 和 Base64 加密的内容,长度在 512*1024 字节内。
ContentEncodingstringPlainTextPlainText脚本内容的文本格式,可选值。
  • PlainText(默认值):纯文本,不编码。
  • Base64:Base64 编码。
LineSplitSepstring脚本输出内容的分隔符,为空时不进行分割,全部作为一条数据返回。
CmdPathstring/usr/bin/bash执行脚本命令的路径,如果为空,则使用默认路径。默认路径如下:
  • bash:/usr/bin/bash
  • shell:/usr/bin/sh
  • python2:/usr/bin/python2
  • python3:/usr/bin/python3
TimeoutMilliSecondsint30003000执行脚本的超时时间,单位为毫秒。
IgnoreErrorboolfalsefalse插件执行出错时是否输出 Error 日志。默认值为 false。
Environments[string]环境变量,默认为 os.Environ()的值,如果设置了 Environments,则在 os.Environ()的基础上追加设置的环境变量。
IntervalMsint50005000采集触发频率或脚本执行频率。单位为毫秒。

原生处理插件

正则解析原生处理插件

参数类型是否必填默认值示例说明
Typestring/processor_parse_regex_native插件类型。固定为 processor_parse_regex_native。
SourceKeystring/content源字段名。
Regexstring/(\d+-\d+-\d+)\s+(.*)正则表达式。
Keys[string]/["time", "msg"]提取的字段列表。
KeepingSourceWhenParseFailboolfalsefalse当解析失败时,是否保留源字段。
KeepingSourceWhenParseSucceedboolfalsefalse当解析成功时,是否保留源字段。
RenamedSourceKeystringkey当源字段被保留时,用于存储源字段的字段名。若不填,默认不改名。

JSON 解析原生处理插件

参数类型是否必填默认值示例说明
Typestring/processor_parse_json_native插件类型。固定为 processor_parse_json_native。
SourceKeystring/content源字段名。
KeepingSourceWhenParseFailboolfalsefalse当解析失败时,是否保留源字段。
KeepingSourceWhenParseSucceedboolfalsefalse当解析成功时,是否保留源字段。
RenamedSourceKeystringkey当源字段被保留时,用于存储源字段的字段名。若不填,默认不改名。

分隔符解析原生处理插件

参数类型是否必填默认值示例说明
Typestring/processor_parse_delimiter_native插件类型。固定为 processor_parse_delimiter_native。
SourceKeystring/content源字段名。
Separatorstring/,分隔符。
Quotestring""引用符。
Keys[string]/["time", "msg"]提取的字段列表。
AllowingShortenedFieldsbooltruetrue是否允许提取的字段数量小于 Keys 的数量。若不允许,则此情景会被视为解析失败。
OverflowedFieldsTreatmentstringextendextend当提取的字段数量大于 Keys 的数量时的行为。可选值包括:
  • extend:保留多余的字段,且每个多余的字段都作为单独的一个字段加入日志,多余字段的字段名为__column$i__,其中$i 代表额外字段序号,从 0 开始计数。
  • keep:保留多余的字段,但将多余内容作为一个整体字段加入日志,字段名为__column0__.
  • discard:丢弃多余的字段。
KeepingSourceWhenParseFailboolfalsefalse当解析失败时,是否保留源字段。
KeepingSourceWhenParseSucceedboolfalsefalse当解析成功时,是否保留源字段。
RenamedSourceKeystringkey当源字段被保留时,用于存储源字段的字段名。若不填,默认不改名。

飞天解析原生处理插件

参数类型是否必填默认值示例说明
Typestring/processor_parse_apsara_native插件类型。固定为 processor_parse_apsara_native。
SourceKeystring/content源字段名。
TimezonestringGMT+08:00日志时间所属时区。格式为 GMT+HH:MM(东区)或 GMT-HH:MM(西区)。
KeepingSourceWhenParseFailboolfalsefalse当解析失败时,是否保留源字段。
KeepingSourceWhenParseSucceedboolfalsefalse当解析成功时,是否保留源字段。
RenamedSourceKeystringkey当源字段被保留时,用于存储源字段的字段名。若不填,默认不改名。

时间解析原生处理插件

参数类型是否必填默认值示例说明
Typestring/processor_parse_timestamp_native插件类型。固定为 processor_parse_timestamp_native。
SourceKeystring/content源字段名。
SourceFormatstring/%Y/%m/%d %H:%M:%S日志时间格式。更多信息,请参见时间格式
SourceTimezonestringGMT+08:00日志时间所属时区。格式为 GMT+HH:MM(东区)或 GMT-HH:MM(西区)。

过滤原生处理插件

参数类型是否必填示例默认值说明
Typestringprocessor_filter_regex_native/插件类型。固定为 processor_filter_regex_native。
Includemap//日志字段白名单,其中 key 为字段名,value 为正则表达式,表示如果当前事件要被采集,则 key 指定的字段内容所需要满足的条件。多个条件之间为“且”的关系,仅当所有条件均满足时,该条日志才会被采集。

脱敏原生处理插件

参数类型是否必填默认值示例说明
Typestring/processor_desensitize_native插件类型。固定为 processor_desensitize_native。
SourceKeystring/content源字段名。
Methodstring/const脱敏方式。可选值包括: const:用常量替换敏感内容。 md5:用敏感内容的 MD5 值替换相应内容。
ReplacingStringstring否,当 Method 取值为 const 时必选/******用于替换敏感内容的常量字符串。
ContentPatternBeforeReplacedStringstring/'password:'敏感内容的前缀正则表达式。
ReplacedContentPatternstring/[^']*敏感内容的正则表达式。
ReplacingAllbooltruetrue是否替换所有的匹配的敏感内容。

输出插件

SLS 输出插件

参数类型是否必填默认值示例说明
Typestring/flusher_sls插件类型。固定为 flusher_sls。
Logstorestirng/test-logstoreLogStrore 名称。

返回参数

名称类型描述示例值
headersobject
Serverstring

服务器名称。

nginx
Content-Typestring

返回的响应体的内容格式。

application/json
Content-Lengthstring

响应内容长度。

0
Connectionstring

是否长链接。取值包括: close:不是长链接,则每个 HTTP 请求都会重新建立 TCP 连接。 keep-alive:长链接,TCP 连接建立后保持连接状态,节省连接所需时间和带宽。

close
Datestring

返回响应的时间。

Sun, 27 May 2018 08:25:04 GMT
x-log-requestidstring

服务端产生的标识,该请求的唯一 ID。

5B0A6B60BB6EE39764D458B5

示例

正常返回示例

JSON格式

{}

错误码

访问错误中心查看更多错误码。