全部产品
Search

搜索本产品

    日志服务：JSON格式

    文档中心

    日志服务：JSON格式

    更新时间：Aug 29, 2024

    日志服务将数据投递到OSS后，支持存储为不同的文件格式。本文介绍JSON格式。

    参数配置

    在创建OSS投递任务（新版）时，如果选择存储格式为json，对应的参数配置如下所示。

    json

    参数

    说明

    是否投递tag

    是否投递日志tag字段，例如__tag__:abc。

    OSS文件地址

    投递到OSS后，OSS文件地址样例如下所示。

    说明

    • 在创建OSS投递任务时，如果您自定义了文件后缀，则文件后缀由您自定义的后缀决定。

    • 在创建OSS投递任务时，如果您未自定义文件后缀，则文件后缀由压缩类型决定。

    压缩类型

    文件后缀

    OSS文件地址示例

    说明

    不压缩

    如果您自定义了文件后缀，则以您的设置为准，例如.json。

    oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.json

    未压缩的JSON文件可下载到本地，以文本方式打开查看。文件样例如下所示。

    {"__time__":"1453809242","__topic__":"","__source__":"10.170.***.***","ip":"10.200.**.***","time":"26/Jan/2016:19:54:02 +0800","url":"POST
              /PutData?Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>
              HTTP/1.1","status":"200","user-agent":"aliyun-sdk-java"}

    如果未自定义文件后缀，则无文件后缀。

    oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937

    压缩（snappy）

    如果您自定义了文件后缀，则以您的设置为准，例如.json。

    oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.json

    使用snappy压缩、解压缩的详细说明，请参见解压Snappy压缩文件。

    问题：

    如果使用了snappy压缩且通过EMR的hive读取文件时，可能会报如下错误：

    image

    解决方案：

    请先执行语句：io.compression.codec.snappy.native=true; ，再进行查询操作。EMR的hive其他相关问题，请提工单解决。

    如果未自定义文件后缀，则文件后缀为.snappy。

    oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.snappy

    压缩（gzip）

    如果您自定义了文件后缀，则以您的设置为准，例如.json。

    oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.json

    如果使用了gzip压缩，则您可以安装并使用gzip命令进行解压。

    如果未自定义文件后缀，则文件后缀为.gz。

    oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.gz

    压缩（zstd）

    如果您自定义了文件后缀，则以您的设置为准，例如.json。

    oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.json

    如果使用了zstd压缩，则您可以安装并使用zstd命令进行解压。

    如果未自定义文件后缀，则文件后缀为.zst。

    oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.zst