全部产品
Search

搜索本产品

    对象存储 OSS：实时OSS日志查询

    文档中心

    对象存储 OSS：实时OSS日志查询

    更新时间：Sep 11, 2024

    访问对象存储OSS的过程中会产生大量的访问日志。实时日志查询功能将OSS与日志服务SLS相结合，允许您在OSS控制台直接查询OSS的访问日志，帮助您完成OSS访问的操作审计、访问统计、异常事件回溯和问题定位等工作，提升您的工作效率并更好地帮助您基于数据进行决策。

    前提条件

    • 已为OSS Bucket开通实时日志查询。具体操作，请参见开通实时日志查询。

    • 已授权日志服务访问OSS。如果您还未授权日志服务访问OSS，请单击云资源访问授权，按照提示完成授权操作。

    功能特性

    • 3分钟内将日志实时推送到日志服务实例中，支持在OSS控制台直接查看实时日志。

    • 提供日志分析服务，定制了常用的分析报表，使数据查询更方便。

    • 支持实时查询和分析原始日志，并按照Bucket名称、Object名称、API操作、时间等条件过滤日志。

    计费说明

    • 当Logstore的计费模式为按使用功能计费时，如果OSS日志存储时间不超过7天，且当天写入流量（压缩后）或索引流量不超过900 GB（如果一条访问日志为1 KB，约为9亿条），则日志服务不收取相关费用。当OSS日志存储时间超过7天，或7天内写入流量（压缩后）或索引流量超过900 GB，将由日志服务收取日志存储及索引流量费用。具体信息，请参见按使用功能计费模式计费项。

    • 在任意时间内对专属Logstore的读取流量、外网流量、数据加工、数据投递等按照标准收费，由日志服务单独收费。

    • 当Logstore的计费模式为按使用功能计费时，OSS日志实时查询功能免费提供的Shard额度为16*31个*天/月，超出部分由日志服务单独收费。具体信息，请参见按使用功能计费模式计费项。

    操作步骤

    1. 登录OSS管理控制台。

    2. 单击Bucket 列表，然后单击目标Bucket名称。

    3. 在左侧导航栏，选择日志管理 > 实时查询。

    4. 在实时查询页签下，根据查询语法和分析语法，输入查询和分析语句，对OSS日志进行分析。

      例如，您可以通过OSS访问日志的operation字段分析存储空间examplebucket在过去七天内发生的GetObject操作次数。

      查询和分析语句示例如下：

      * and __topic__: oss_access_log AND bucket:examplebucket AND operation:GetObject | select
  count(*) AS GetObjectCount

      查询和分析返回示例如下：

      getobjectcount.png

      更多查询和分析示例，请参见实时日志查询常见示例。

    相关操作

    开通实时日志查询

    您可以通过以下两种方式开通实时日志查询。

    创建Bucket时开通实时日志查询

    1. 登录OSS管理控制台。

    2. 单击Bucket 列表，然后单击创建Bucket。

    3. 在创建Bucket面板的实时日志查询区域，打开实时日志查询开关，然后配置其他参数。

      关于其他参数的配置，请参见创建存储空间。

    4. 单击完成创建。

    为已创建的Bucket开通实时日志查询

    1. 登录OSS管理控制台。

    2. 单击Bucket 列表，然后单击目标Bucket名称。

    3. 在左侧导航栏，选择日志管理 > 实时查询。

    4. 单击立即开通。

    修改日志保存时间

    开通实时日志查询后，OSS免费提供最近7天内的日志查询。您可以单击日志页面右上角的设置日志保存时间，修改日志的保存时间。

    重置日志索引字段

    查询实时日志时，可能会出现字段变动（例如新增字段或者将某个字段变为索引等），但实时日志分析页面配置并非自动同步。您需要通过以下两种方式手动刷新实时日志索引字段。

    重要

    以下两种方式会将索引恢复到内置索引的最新版本，自定义索引会丢失。请确认自定义索引丢失是否对您的业务场景造成影响。如无影响，请按以下操作流程指引完成相关操作。如有影响，请手动添加缺失的索引。具体操作，请参见创建索引。

    使用OSS控制台

    关闭实时日志查询功能后，再开启实时日志查询。

    使用日志服务控制台

    1. 登录日志服务控制台。

    2. 在日志应用区域的云产品Lens页签中，单击CloudLens for OSS。

    3. 在接入管理的目标存储库页签中，单击目标LogStore右侧索引重置列的重置。

    4. 在弹出的对话框中，单击确定。

      说明

      索引重置后约1分钟内生效。

    使用日志聚类

    1. 登录OSS管理控制台。

    2. 单击Bucket 列表，然后单击目标Bucket名称。

    3. 在左侧导航栏，选择日志管理 > 实时查询。

    4. 单击日志聚类，然后单击开启日志聚类。

    5. 在弹出的对话框，单击确认。

      关于日志聚类的更多信息，请参见日志聚类。

    关闭实时日志查询

    当您确认不再需要保留日志数据，请按如下步骤关闭实时日志查询。

    1. 登录OSS管理控制台。

    2. 单击Bucket 列表，然后单击目标Bucket名称。

    3. 在左侧导航栏，选择日志管理 > 实时查询。

    4. 单击右上角关闭关联日志。

      重要

      开通实时日志查询时，会自动创建日志服务Project。但关闭实时日志查询时不会自动删除Project。因此，当您关闭实时日志查询后，为避免后续产生不必要的费用，请前往日志服务控制台删除开通实时日志查询时自动创建的Project。具体操作，请参见删除项目Project。