新版日志审计 - 日志服务

本文为您介绍新版日志审计服务的工作原理、使用限制、费用说明和接入分类。

背景信息

近年来，随着云计算的广泛应用和企业上云的深度普及，许多企业或个人用户将各种日志托管在云上进行查询、审计等操作。

日志审计是《网络安全法》、《数据安全法》等法律法规的刚需要求，例如《网络安全法》第二十一条第三小节中明确规定“采取监测、记录网络运行状态、网络安全事件的技术措施，并按照规定留存相关的网络日志不少于六个月"。企业或组织在运行过程中，为了完成基础设施的安全维护、用户信息权益的保护，保障企业的网络数据安全，需要始终贯彻和落实以《网络安全法》、《数据安全法》为代表的各种法律法规的要求。企业在生产实践中，应按照《信息安全技术-网络安全等级保护基本要求》进行企业安全定级、备案、整改和测评工作，始终落实自查自纠和接受相关行业机关的督查和测评。
数据合规管理也是许多企业或组织需要面临的专业且复杂的问题，在全球化的今天，企业数据可能存储在全球各个地区或组织中，一方面这些数据管理需要基于法律法规要求，保障数据安全、保护个人信息权益、维护国家安全和社会公共利益，另一方面出于生产实践的需要，进行数据有序地自由流动，从而将数据的价值最大化。
在这些背景下我们推出了新版日志审计服务，增强了数据接入能力，不仅支持云产品数据，还支持运行时数据。用户可以通过多日志项目中心管理日志数据，从而将云产品日志或运行时日志中心化汇总、查询、统计、分析，同时满足数据合规的相关地域限制要求，实现依法、有序的数据自由流动管理。

基本功能

阿里云日志服务平台支持自动化管理日志，并具备日志查询、分析、存储、加工、投递、消费、告警、可视化等能力。日志审计基于日志服务平台，还支持以下功能：

数据接入云产品日志

云产品覆盖范围：日志审计覆盖阿里云许多主流云产品及其日志类型，当前日志审计支持接入存储类（SLS、OSS）、网络类（CLB、ALB、VPC、DNS）、数据库类（RDS、PolarDB）、安全类（云安全中心、云防火墙、Web 应用防火墙、DDoS 防护）、审计类（操作审计、配置审计）等云产品及相关日志类型。
日志自动化采集：日志审计支持自动化采集用户日志。一方面，一旦云产品接入新版日志审计服务，新增日志将自动写入存储的目标Logstore中；另一方面，如果云账号下有实例新增或属性变更，云产品的日志会根据用户配置的采集规则进行自动化采集与写入。
采集规则可编排：日志审计支持三种资源选择模式对云产品资源进行过滤：全部资源、按照实例模式过滤资源、按照属性模式过滤资源，用户可以根据实际需求选择。
数据跨区域汇总：日志审计通过数据加工功能实现日志数据的跨地域汇总，日志服务会自动创建数据加工任务，这些任务根据用户的日志默认投递目标库和采集规则配置的中心化目标库的投递关系创建。
支持多日志中心：日志只需接入一次，即可根据规则配置，通过数据加工汇总到各个日志项目或日志库中。例如，用户可以将北京、杭州地域的日志汇总到上海中心，将马来西亚、印度尼西亚地域的日志汇总到新加坡中心。
支持资源目录多账号功能：管理员或委派管理员可以通过配置多账号采集，将成员账号的所有日志汇总。

数据接入运行时日志

运行时日志采集：日志审计支持将开源Agent（Tetragon、Falco）采集的运行时日志通过Logtail采集到日志库中。
采集Systemd Journal日志：日志审计支持使用Logtail采集Systemd Journal日志，支持以容器方式采集宿主机上的Journal日志。适用于Docker、Kubernetes场景。

工作原理

数据接入云产品日志

云产品的日志首先存储在各自的默认Logstore中，这些日志包括云产品的操作信息、运行状态等。
- 云产品日志及对应的Logstore名称，请参见云产品采集注意事项。
- 对于每个云产品实例，如果命中多个采集规则，只要有一个采集规则匹配，该实例日志就会被采集到默认Logstore中。
日志审计自动创建数据加工任务，将默认Logstore的日志汇总到用户关联的Project中。
- 云产品日志类型由用户配置的日志审计采集规则决定。
- 日志审计会自动检测用户云账号下各个地域的云产品实例新增或变更，并同步到日志审计采集规则中。
如果资源目录的管理员账号或委派管理员账号，配置了多账号配置的日志采集规则，云产品日志将会首先被采集到成员账号云产品默认投递目标库下，然后通过自动创建的数据加工作业，汇总到管理员账号或委派管理者账号中心日志库中。
- 采集规则1：按照地域属性进行采集，将华东1（杭州）和华南1（深圳）地域的云产品日志投递到中心化Logstore（xxx_log_center）中，该Logstore属于中心化Project（center-A-cn-shanghai）。
- 采集规则2：按照地域属性进行采集，将新加坡地域的云产品日志投递到中心化Logstore（xxx_log_center）中，该Logstore属于中心化Project（center-A-ap-southeast-1）。

数据接入运行时日志

Docker、Kubernetes场景下使用Tetragon、Falco收集容器运行日志到目录文件、标准输出中，然后通过Logtail将容器运行时日志投递到日志服务的日志库。

使用限制

日志审计目前只支持公共云。
新版日志审计服务正处于公测阶段，如果您在使用中遇到任何问题，请提交工单。

费用说明

日志审计功能本身不收费，但开通后会产生日志存储、日志流量等计费，包括以下部分：

费用类型	说明
云产品日志默认Logstore的费用	和普通Logstore计费相同，其他计费项和普通Logstore相同，但日志审计规则自动创建的数据加工作业所产生的读流量和读次数不计费。计费项的具体信息请参见云产品日志概述、按使用功能计费模式计费项和按写入数据量计费模式计费项。降低Logstore的存储费用、停止Logstore的计费等信息，请参见如何降低日志的存储成本？。
数据加工的费用	数据加工的数据量免费。跨地域加工数据时，会产生外网读取流量（按照压缩后的数据量计算），参见按使用功能计费模式计费项。
日志审计关联Logstore的费用	按使用功能计费模式。其他计费项和普通Logstore相同，但日志审计规则自动创建的数据加工作业所产生的写流量和写次数不计费。降低Logstore的存储费用、停止Logstore的计费等信息，请参见如何降低日志的存储成本？。
云产品功能费用	对于部分云产品日志，开启日志采集前必须开启对应云产品的功能。例如，VPC流日志需要开启流日志功能，RDS审计日志需要开启SQL洞察与审计功能，这些功能会造成相应云产品的额外费用，更多费用构成说明，请参见云产品采集注意事项。
运行时日志费用	与普通Logstore收费标准一致，无额外费用。计费项的具体信息请参见按使用功能计费模式计费项和按写入数据量计费模式计费项。降低Logstore的存储费用、停止Logstore的计费等信息，请参见如何降低日志的存储成本？。

云产品接入分类

日志审计当前云产品接入主要分为以下类型，具体限制请参考云产品采集注意事项。

云产品接入类型	分类依据	限制及说明	对应云产品及日志类型
实例类	支持按照实例粒度（实例 ID、实例地域、实例标签等属性）进行规则配置采集。	云产品实例日志会默认投递到当前实例所属地域的日志库中。	SLS 操作日志、SLS 运行日志 OSS 访问日志 RDS 审计日志、RDS 慢日志、RDS 错误日志、RDS 性能监控 PolarDB 审计日志、PolarDB 慢日志、PolarDB 错误日志、PolarDB 性能监控 VPC 流日志 DNS 内网解析日志 ALB 访问日志、CLB 访问日志 Mongo DB审计日志
全局日志类	只能按照全局粒度配置采集规则。	云产品全局日志会默认投递到一个固定地域的日志库中	SLS 全局审计日志、SLS 全局错误日志、SLS 性能监控指标 OSS 计量日志
安全类	规则配置将依赖资源属性模式，获取云产品默认投递地域列表。	需要用户去云产品控制台手动开启采集，日志审计仅做中心化加工汇总。	WAF2.0 访问日志、WAF3.0 访问日志、WAF3.0 访问日志（按量付费版）云安全中心日志、云安全中心日志（按量付费版） DDoS 基础防护、DDoS 高级防护（国内版）、DDoS 高级防护（非中国内地）云防火墙日志、云防火墙日志（按量付费版）、密钥管理服务（kms）
操作审计、配置审计类	不依赖采集规则，通过日志库名称与日志审计关联。	需要用户去云产品控制台手动配置跟踪或投递，并将其配置到当前审计关联日志项目。	操作审计日志配置审计日志