日志服务：快速使用全量日志分析

使用前须知

使用前请您了解什么是全量日志分析、如何计算所需的日志存储容量、日志采样说明等基本信息。详细内容，请参见概述。

步骤一：购买全量日志分析

1. 登录DDoS高防控制台。

2. 在顶部菜单栏左上角处，选择地域。

   • DDoS高防（中国内地）：选择中国内地地域。

   • DDoS高防（非中国内地）：选择非中国内地地域。

3. 在左侧导航栏，选择调查分析 > 全量日志分析。

4. 在全量日志分析页面，单击立即购买。

5. 在全量日志购买页面，完成配置项设置后，单击立即购买并完成支付。

   配置项	说明
   适用产品	选择DDoS实例类型。
   日志存储量	选择日志数据的最大存储空间，单位：TB。 当日志存储空间足够大且在服务有效期内，将从使用服务的第一天开始，连续存储180天的日志数据。第181天的日志数据，将覆盖第一天存储的日志数据，即始终保持存储最近180天的全量日志数据。 重要 当您选购的日志存储空间占满后，将停止存储新的日志数据。
   购买时长	选择服务有效期。 重要 全量日志分析服务到期后，将停止存储新的日志数据。

   购买成功后，您需要返回全量日志分析页面，根据页面提示完成授权，授权DDoS高防服务将日志数据存储到日志服务专属日志库。

步骤二：开启日志采集

在全量日志分析页面，为网站域名开启日志采集。

• 为单个域名开启日志采集：从选择域名下拉列表中选择目标域名，打开状态开关。

• 批量为域名开启日志采集：单击页面右上方的批量配置，并在批量配置面板选中多个域名，单击批量开启。

开启日志采集后，日志服务将自动为DDoS高防创建一个专属的日志项目（Project），用于管理DDoS高防的日志数据。您可以在日志服务控制台的首页查看DDoS高防专属日志项目。

DDoS高防（中国内地）服务的专属日志项目名称以ddoscoo-project开头，DDoS高防（非中国内地）服务的专属日志项目名称以ddosdip-project开头。专属日志项目默认包含以下资源：

• 1个专属日志库（Logstore），用于存储DDoS高防的日志数据。DDoS高防（中国内地）服务的专属日志库名称为ddoscoo-logstore，DDoS高防（非中国内地）服务的专属日志库名称为ddosdip-logstore。

• 2个预设的日志仪表盘（DDoS访问中心、DDoS运营中心），用于展示日志分析图形报表。DDoS高防（中国内地）和DDoS高防（非中国内地）服务的日志仪表盘内容相同。

（可选）步骤三：查询和分析全量日志

1. 在全量日志分析页面的选择域名列表中，选择目标域名。

2. 在全量日志页签，单击15分钟（相对），设置查询的时间范围。

   说明

   • DDoS高防日志的默认保存时间为180天，180天之前的日志数据会被删除。默认情况下只支持查询最近180天内的日志数据。

   • 查询结果相对于指定的时间范围有1分钟以内的误差。

3. 在查询框中输入查询分析语句，然后单击查询/分析。

   查询分析语句由查询语句和分析语句两个部分组成，通过竖线（|）进行分隔，格式：查询语句|分析语句。

   语句类型	是否可选	说明
   查询语句	可选	查询条件，可以为查询关键词、模糊查询、数值、数值范围和组合条件。 如果为空或星号（*），表示针对当前时间段所有数据不设置任何过滤条件，即返回所有数据，详情请参见查询语法。 说明 关于DDoS高防访问日志的日志字段说明，请参见全量日志字段说明。
   分析语句	可选	对查询结果或全量数据进行计算和统计。 如果为空，表示只返回查询结果，不做统计分析，详情请参见分析概述。 说明 分析语句中可以省略SQL标准语法中的from 表格名语句，即from log。 日志数据默认返回前100条，您可以通过LIMIT子句修改返回范围。

   查询分析语句执行后默认按表格方式展示分析结果，您还可以选择折线图、柱状图、饼图等多种图形方式进行展示。具体操作，请参见统计图表概述。

   您也可以根据仪表盘中的查询图表设置告警，实现实时的服务状态监控。具体操作，请参见告警简介。

   查看常见的查询分析语句

   • 查询域名的访问量

     * | SELECT COUNT(*) as times, host GROUP by host ORDER by times desc limit 100

   • 查询拦截类型

     * | select cc_action,cc_phase,count(*) as t group by cc_action,cc_phase order by t desc limit 10

   • 查询QPS

     * | select time_series(__time__,'15m','%H:%i','0') as time,count(*)/900 as QPS group by time order by time

   • 查询被攻击域名

     * and cc_blocks:1 | select cc_action,cc_phase,count(*) as t group by cc_action,cc_phase order by t desc limit 10

   • 查询被攻击URL

     * and cc_blocks:1 | select count(*) as times,host,request_path group by host,request_path order by times

   • 查询请求详情

     * | select date_format(date_trunc('second',__time__),'%H:%i:%s') as time,host,request_uri,request_method,status,upstream_status,querystring limit 10

   • 查询5XX状态码详情

     * and status>499 | select host,status,upstream_status,count(*)as t group by host,status,upstream_status order by t desc

   • 查询请求时延分布

     * | SELECT count_if(upstream_response_time<20) as "<20",
     count_if(upstream_response_time<50 and upstream_response_time>20) as "<50",
     count_if(upstream_response_time<100 and upstream_response_time>50) as "<100",
     count_if(upstream_response_time<500 and upstream_response_time>100) as "<500",
     count_if(upstream_response_time<1000 and upstream_response_time>500) as "<1000",
     count_if(upstream_response_time>1000) as ">1000"

（可选）步骤四：查询日志报表

仪表盘是日志服务提供的实时数据分析大盘，使用常用查询语句获取分析结果后，您可以将结果图表保存到仪表盘中。全量日志分析服务默认为您提供DDoS访问中心和DDoS运营中心两个仪表盘。

1. 在全量日志分析页面的选择域名列表中，选择目标域名。

2. 单击日志报表页签，单击时间选择设置时间范围。

   说明

   日志报表中所有图表都是基于不同时间段的数据统计结果，例如访问量的默认时间范围为1小时，访问趋势为1周。设置时间范围后当前页面的所有图表均按照设置的时间范围进行显示。

3. 查看DDoS高防默认仪表盘。

   日志报表展示区域按照预定义的布局展示多个报表，包含不同的图表类型。关于图表类型的说明，请参见统计图表概述。

   • DDoS访问中心：展示网站的基本指标（PV、UV、流入流量、带宽峰值）、访问趋势、请求来源分布、其他统计信息（例如访问域名、客户端类型等）。

     DDoS访问中心

     图表名称	类型	默认时间范围	描述	样例
     PV	单值	1小时（相对）	请求总数。	100000
     UV	单值	1小时（相对）	独立的访问客户端的总数。	100000
     流入流量	单值	1小时（相对）	网站的流入流量总和，单位为MB。	300 MB
     网络in带宽峰值	单值	今天（整点时间）	网站请求的流入流量速率的峰值，单位为Bytes/s。	100 Bytes/s
     网络out带宽峰值	单值	今天（整点时间）	网站请求的流出流量速率的峰值，单位为Bytes/s。	100 Bytes/s
     流量带宽趋势	双线图	1周（相对）	网站流入流出流量的趋势图，单位为KB/s。	无
     PV/UV访问趋势	双线图	1周（相对）	PV与UV的趋势图，单位为个。	无
     访问状态分布	饼图	1周（相对）	各种请求处理状态（400、304、200等）的趋势图，单位为个/分钟。	无
     访问来源	世界地图	1小时（相对）	访问者PV在来源国家的分布。	无
     流入流量来源（世界）	世界地图	1小时（相对）	流入流量总和在来源国家的分布，单位为MB。	无
     流入流量来源（中国）	中国地图	1小时（相对）	流入流量总和在来源省份的分布，单位为MB。	无
     访问热力图	高德地图	1小时（相对）	访问者在地理位置上的访问热力图。	无
     来源网络提供商	环图	1小时（相对）	访问者通过网络运营商接入的流入流量分布，例如电信、联通、移动、教育网等，单位为MB。	无
     Referer	表格	1小时（相对）	前100个最多的跳转Referer URL、主机以及次数等。	无
     接入线路分布	环图	1小时（相对）	访问请求接入的DDoS高防线路的分布。	无
     客户端类型分布	环图	1小时（相对）	前20个被访问最多的User Agent（用户代理），例如iPhone、iPad、Widnows IE、Chrome等。	无
     请求内容类型分布	环图	1小时（相对）	前20个最多的请求内容类型，例如HTML、Form、JSON、流数据等。	无
     访问域名	环图	1小时（相对）	前20个被访问最多的域名。	无
     访问最多的客户端	表格	1小时（相对）	前100个访问最多的客户端信息，包括IP、PV、流入流量、错误访问次数、攻击次数等。	无
     响应最慢的URL	表格	1小时（相对）	前100个响应时间最长的URL信息，包括网站、URL、响应时间、访问次数等。	无

   • DDoS运营中心：展示网站的总体运营状况，包括带宽流入流出趋势、请求与拦截趋势、攻击者列表、被访问网站列表等。

   您可以通过单击右上角的订阅按钮订阅仪表盘功能，通过邮件或者钉钉群消息将仪表盘内容定时推送给指定对象。具体操作，请参见订阅仪表盘。

相关文档

云产品日志通用操作