本文介绍如何使用实时日志功能对用户访问日志进行分析。
概述
阿里云CDN产品的实时日志功能是CDN产品与SLS产品联合推出的一项功能，是一种时效性非常高（延迟在3分钟左右）的日志数据处理服务，能够将CDN节点上采集到的用户访问日志实时推送至SLS日志服务，然后可以通过SLS来存储和分析用户访问数据。在使用阿里云CDN产品来加速网站域名访问速度的情况下，用户访问网站的图片、视频等资源时，CDN会记录用户的访问日志，如果您需要对用户访问日志进行分析来了解用户构成、访问质量或者快速定位问题，您可以使用实时日志功能来快速实现。
前提条件
CDN提供的实时日志与离线日志服务的区别
日志延迟
CDN实时日志为实时采集的日志数据，日志数据延迟不超过3分钟，而离线日志的数据延迟通常在24小时之内。
日志分析
CDN实时日志打通了SLS日志服务的日志转存和日志分析能力，预制了CDN基础数据、CDN错误分析、CDN热门资源、CDN用户分析这四张常用分析报表，也支持自定义日志分析策略，可以一站式提供日志存储和日志分析能力，而离线日志目前只支持日志转存到OSS云存储，尚未打通日志分析能力。
实时日志服务的优势
日志延迟小
日志数据延迟不超过3分钟，可以帮助您快速对访问日志进行分析，及时发现问题并做出应对决策。
一站式服务
传统的离线日志分析模式，需要用户将日志下载，再重新上传至数据仓库，然后在数据仓库进行一系列的清洗和数据模型定义，这一系列操作处理完以后才能进行数据分析，整个过程需要的人力较多，时间较长；CDN实时日志打通了SLS日志服务的日志转存和日志分析能力，免去传统模式下繁琐的离线日志分析流程。
适用场景
实时日志可以帮助您分析加速域名遇到的异常问题，也可以帮助您了解用户的访问情况。阿里云CDN实时日志在提供预制日志分析报表的同时，还支持自定义日志分析策略，可以满足不同场景下的需求。
预制的日志分析报表
日志分析场景 | 报表作用描述 |
CDN基础数据 | 该数据可以帮助您快速了解到CDN整体的服务质量以及终端用户的访问效率（命中率、访问延时、下载速度等），同时也可以在服务质量出现异常情况下及时进行处理。 |
CDN访问错误 | 该数据可以帮助您在应用访问出现异常时，快速定位到CDN服务问题的源头，例如：部分URI问题、源站出现故障、部分节点不可用、部分省份网络问题、部分运营商网络问题等。 |
CDN热门资源 | 该数据可以帮助您更好地了解热门资源情况，分析出热门域名、热门URI、热门省份、热门运营商等，您也可以从热门数据了解到您的运营活动效果是否正常、热点时间内流量的上涨是否符合预期，以帮助您及时调整运营策略。 |
CDN用户构成 | 该数据可以帮助您更好地了解网站的用户构成，包括用户的客户端类型、省份、运营商等，也能够统计出访问量TOP用户、下载量TOP用户。 |
在实时日志功能页面找到需要分析日志的Project名称，然后单击查看报表即可进入日志分析报表模板的查看页面。
在数据查询模板页面，默认情况下查询的是全量域名的数据，也可以查询指定域名或者URI的数据。
具体使用方法您可以参考以下几个章节：
自定义日志分析
在预制的日志分析报表无法满足您的需求时，您可以使用SLS产品强大的日志分析能力来实现自定义日志分析。
例如：查看响应状态码为499的域名排行榜、查看响应状态码为502的域名排行榜。
在实时日志功能页面找到需要分析日志的Project名称，然后单击日志分析即可进入自定义日志分析功能的页面。
在自定义分析界面，您可以在搜索框里面输入查询语句直接查询日志数据（通常适用于比较复杂的查询条件），也可以直接单击左侧原始日志栏的日志字段来过滤日志（通常适用于比较简单的过滤条件）。
具体使用方法您可以参考：自定义报表
创建实时日志推送Project
您可以参考配置实时日志推送创建一个SLS日志服务的project，用于存储CDN产品指定域名（例如：aliyun.example.com）推送的实时日志。
创建成功的效果如下图，Project名称为project-example，Logstore名称为project-example，日志存储区域为cn-hangzhou（华东1-杭州）。
预制报表：CDN基础数据
CDN基础数据可以帮助您快速了解到CDN整体的服务质量以及终端用户的访问效率（命中率、访问延时、下载速度等），同时也可以在服务质量出现异常情况下及时进行处理。
包括以下数据（可以查看总的数据，也可以按域名或者URI查看）：
健康度：响应正常的状态码总数占比。
缓存命中率：资源的平均缓存命中率（按字节数来统计的命中率）。
下载速度：资源的平均下载速度。
访问状态：每一种响应状态码的占比，可以用于快速查看当前异常状态码的占比。
访问延时分布：每一个延时段的占比。
请求带宽：分钟粒度的带宽值。
访问次数/人数：PV、UV值。
请求命中率：按请求数来统计的命中率。
访问延时：用于下载资源的平均访问延时。
预制报表：CDN访问错误
CDN访问错误数据可以帮助您在应用访问出现异常时，快速定位到CDN服务问题的源头，例如：部分URI问题、源站出现故障、部分节点不可用、部分省份网络问题、部分运营商网络问题等。
包括以下数据（可以查看总的数据，也可以按域名或者URI查看）：
错误域名访问Top10：按不同域名访问产生的错误占比统计Top域名。
错误URI访问Top10：按不同URI产生的错误占比统计Top URI。
请求错误百分比：分时间统计4xx、5xx状态码的占比。
错误请求状态分布：统计各个状态码的数量、占比。
错误运营商统计：统计不同运营商的4xx、5xx状态码数量。
错误按省份统计：统计不同省份的4xx、5xx状态码数量。
错误详情（4xx）：统计不同省份、运营商的4xx状态码数量、占比。
错误详情（5xx）：统计不同省份、运营商的5xx状态码数量、占比。
错误按客户端分布：统计不同的客户端UA（user-agent）对应的4xx、5xx状态码数量及占比。
预制报表：CDN热门资源
CDN热门资源数据可以帮助您更好地了解热门资源情况，分析出热门域名、热门URI、热门省份、热门运营商等，您也可以从热门数据了解到您的运营活动效果是否正常、热点时间内流量的上涨是否符合预期，以帮助您及时调整运营策略。
包括以下数据（可以查看总的数据，也可以按域名或者URI查看）：
访问次数Top域名：按总访问次数占比统计Top域名。
下载流量Top域名：按总下载流量占比统计Top域名。
热门访问URI：统计各个URI的访问次数、访问人数、下载总量。
热门访问来源：统计热门Referer来源域名，并且记录访问次数、UV、占比。
全国访问次数统计：分别统计各个省份的平均访问次数。
全国下载网速：分别统计各个省份的平均下载速度。
省份统计：分别统计各个省份的总访问次数、总下载流量、平均下载速度。
运营商流量和速度：分别统计各个运营商的下载总量和平均下载速度。
运营商统计：分别统计各个运营商的总访问次数、总下载流量、平均下载速度。
预制报表：CDN用户构成
CDN用户构成数据可以帮助您更好地了解网站的用户构成，包括用户的客户端类型、省份、运营商等，也能够统计出访问TOP用户、下载量TOP用户。
包括以下数据（可以查看总的数据，也可以按域名或者URI查看）：
访问次数：总访问次数，PV。
访问人数：总访问人数，UV。
访问地区分布：分别统计各个省份的访问次数、占比。
访问客户端统计：分别统计各个客户端类型的访问次数、占比。
运营商次数统计：分别统计各个运营商的总访问次数、占比。
下载量Top用户：按IP统计用户的总访问数、错误访问数、下载总量。
有效访问Top用户：按IP统计用户的总访问数、错误访问数、下载总量（去掉4xx、5xx这些无效访问）。
订阅报表模板数据
如果您需要SLS日志服务定期将报表模板的数据发送给您，那么您可以使用订阅功能。
操作步骤
以CDN基础数据页面为例，单击右上角的订阅，然后单击创建。
在侧滑出现的配置窗口中输入订阅名称、频率和全局时间，然后单击下一步。
在通知列表的下拉菜单中选择通知方式并填写相关信息后，单击提交即可成功创建。
通知方式目前支持邮件、WebHook-钉钉机器人、WebHook-飞书机器人、WebHook-企业微信机器人和微信。
自定义报表
示例1：查看最近30天内，响应状态码为499的域名排行榜。
日志分析语句：
return_code = 499| select domain , count(*) as c group by domain order by c desc limit 10
示例2：查看最近30天内，响应状态码为502的域名排行榜。
日志分析语句：
return_code = 502| select domain , count(*) as c group by domain order by c desc limit 10
示例3：查看最近30天内，访问URI为/cpu的日志数据。
可以直接单击左侧原始日志栏的URI字段，然后单击/cpu即可过滤出需要的日志。
