全部产品

日志服务：CSV格式

更新时间：Jul 04, 2024

日志服务将日志投递到OSS后，支持存储为不同的文件格式。本文介绍CSV格式。

参数配置

在创建OSS投递任务（新版）时，选择存储格式为csv，对应的参数配置如下所示。

CSV字段配置

参数说明如下所示。更多信息，请参见CSV标准和postgresql CSV说明。

参数	说明
CSV字段	在原始日志页签中查看日志字段，将需要投递到OSS的字段名有序填入。日志服务还提供保留字段__time__、__topic__、__source__等。保留字段的更多信息，请参见保留字段。说明同一个日志字段在CSV字段中只能配置一次，不支持多次使用。如果您的日志中存在同名字段（例如都为request_time），则日志服务会将其中一个字段名显示为request_time_0，底层存储的字段名仍为request_time。因此您在投递时，只能使用原始字段名request_time。存在同名字段时，系统只随机投递其中一个字段的值。请尽量避免日志中使用同名字段。
分隔符	用于分割不同的日志字段。支持半角逗号（,）、竖线（\|）、空格和制表符。
转义符	当字段内出现分隔符时，需要使用转义符包裹该字段，避免读数据时造成字段错误分割。
无效字段内容	当CSV字段中指定的日志字段不存在时，投递此参数中配置的内容。
投递字段名称	打开投递字段名称开关后，将字段名称写入到CSV文件中。

OSS文件地址

投递到OSS后，OSS文件地址样例如下所示。

说明

在创建OSS投递任务时，如果您自定义了文件后缀，则文件后缀由您自定义的后缀决定。
在创建OSS投递任务时，如果您未自定义文件后缀，则文件后缀由压缩类型决定。

压缩类型	文件后缀	OSS文件地址举例	说明
无压缩	如果您自定义了文件后缀，则以您的设置为准，例如.suffix。	oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.suffix	未压缩的CSV文件可下载到本地，以文本方式打开查看。
无压缩	如果未自定义文件后缀，则文件后缀为.csv。	oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.csv	未压缩的CSV文件可下载到本地，以文本方式打开查看。
压缩（snappy）	如果您自定义了文件后缀，则以您的设置为准，例如.suffix。	oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.suffix	Snappy压缩文件的打开方式，请参见打开Snappy压缩文件。
压缩（snappy）	如果未自定义文件后缀，则文件后缀为.snappy.csv。	oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.snappy.csv	Snappy压缩文件的打开方式，请参见打开Snappy压缩文件。
压缩（gzip）	如果您自定义了文件后缀，则以您的设置为准，例如.suffix。	oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.suffix	如果使用了gzip压缩，则您可以安装并使用gzip命令进行解压。
压缩（gzip）	如果未自定义文件后缀，则文件后缀为.gz.csv。	oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.gz.csv	如果使用了gzip压缩，则您可以安装并使用gzip命令进行解压。
压缩（zstd）	如果您自定义了文件后缀，则以您的设置为准，例如.suffix。	oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.suffix	如果使用了zstd压缩，则您可以安装并使用zstd命令进行解压。
压缩（zstd）	如果未自定义文件后缀，则文件后缀为.zst.csv。	oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.zst.csv	如果使用了zstd压缩，则您可以安装并使用zstd命令进行解压。