全部产品
Search
文档中心

日志服务:使用前须知

更新时间:Sep 29, 2024

日志服务联合阿里云负载均衡推出CloudLens for ALB,提供ALB 7层日志分析、秒级监控指标分析、实时告警等功能,并提供基于AIOps的自动异常巡检功能。您可以通过CloudLens for ALB了解客户端用户行为、客户端用户的地域分布、请求成功率、响应延迟等。本文介绍CloudLens for ALB的功能、资产、费用、使用限制等信息。

功能说明

CloudLens for ALB基于实时访问日志进行自动聚合,并提供智能巡检、实时告警等功能,详细功能如下:

  • 支持集中管理当前阿里云账号下所有的ALB实例。

  • 支持一键开启ALB访问日志的采集功能,集中管理日志的采集状态。

  • 提供ALB访问日志的实时存储、查询与分析。

  • 基于原始访问日志实时提取各类指标信息,包括PV、请求成功率、平均延迟、P50延迟、P99延迟、出入流量等。并支持多个维度组合,包括app_lb_id、host、status。

  • 提供丰富的可视化报表,包括监控中心、秒级监控、实例巡检等,并支持报表邮件、钉钉群订阅。

  • 提供智能巡检功能,支持全局巡检和app_lb_id粒度巡检,并支持在可视化报表中直接标注异常点。

  • 自定义告警配置,告警通知直接对接消息中心、短信、邮件、语音(电话)、钉钉,并支持对接自定义WebHook。

功能说明

功能优势

  • 简单:一站式开通、中心化使用,无需关心日志收集、存储、计算、可视化等问题,将开发、运维人员从日志处理的繁琐耗时中解放出来,将更多的精力集中到业务开发和技术探索。

  • 海量:访问日志与ALB实例请求PV成正比,数据规模很大,处理访问日志需要考虑性能和成本问题。

  • 实时:DevOps、监控、报警等场景要求日志数据的实时性。负载均衡结合日志服务强大的大数据计算能力,秒级分析处理实时产生的日志。

    重要

    99.9%情况下,日志延迟不超过3分钟。

  • 弹性:您可按ALB实例级别开通或关闭访问日志功能,可任意设置日志存储周期。Logstore容量可动态伸缩满足业务增长需求。

  • 智能:基于达摩院智能AIOps算法,提供ALB指标自动巡检功能,有助于更快、更准确地发现并定位问题。

资产说明

所有资产都在您选择的Project下,Project内的资产如下:

  • Logstore

    • 访问日志Logstore用于存储ALB 7层访问日志,该Logstore为您自定义创建的Logstore。

    • 巡检结果Logstore用于存储巡检结果。开启数据采集功能后,自动生成该专属Logstore,其名称为访问日志Logstore名称-metrics-result。

    重要
    • 请勿删除ALB 7层访问日志相关的Logstore,否则将无法正常采集日志到日志服务。

    • 请勿删除访问日志Logstore中的部分字段的索引,否则指标转换会失败。

  • Metricstore

    监控指标Metricstore用于存储聚合后的指标信息。开启数据采集功能后,自动生成该专属Metricstore,其名称为访问日志Logstore名称-metrics。

    说明

    监控指标Metricstore存储的是聚合后的指标,数据量相比原始访问日志大大降低,非常适用于长期存储。

  • 聚合规则

    规则名称

    聚合时间粒度

    聚合维度

    生成指标名

    total

    10秒

    total

    • pv

    • body_bytes_sent_avg

    • body_bytes_sent_sum

    • request_length_avg

    • request_length_sum

    • upstream_response_time_avg

    • upstream_response_time_p50

    • upstream_response_time_p90

    • upstream_response_time_p99

    • request_time_avg

    • request_time_p50

    • request_time_p90

    • request_time_p99

    app_lb_id

    10秒

    app_lb_id

    • pv:app_lb_id

    • body_bytes_sent_avg:app_lb_id

    • body_bytes_sent_sum:app_lb_id

    • request_length_avg:app_lb_id

    • request_length_sum:app_lb_id

    • upstream_response_time_avg:app_lb_id

    • upstream_response_time_p50:app_lb_id

    • upstream_response_time_p90:app_lb_id

    • upstream_response_time_p99:app_lb_id

    • request_time_avg:app_lb_id

    • request_time_p50:app_lb_id

    • request_time_p90:app_lb_id

    • request_time_p99:app_lb_id

    app_lb_id_host_status

    10秒

    app_lb_id+host+status

    • pv:app_lb_id:host:status

    • body_bytes_sent_avg:app_lb_id:host:status

    • body_bytes_sent_sum:app_lb_id:host:status

    • request_length_avg:app_lb_id:host:status

    • request_length_sum:app_lb_id:host:status

    • upstream_response_time_avg:app_lb_id:host:status

    • upstream_response_time_p50:app_lb_id:host:status

    • upstream_response_time_p90:app_lb_id:host:status

    • upstream_response_time_p99:app_lb_id:host:status

    • request_time_avg:app_lb_id:host:status

    • request_time_p50:app_lb_id:host:status

    • request_time_p90:app_lb_id:host:status

    • request_time_p99:app_lb_id:host:status

  • 巡检规则

    规则名称

    巡检算法

    巡检指标

    alb-patrol-total

    Time2Graph

    • pv

    • body_bytes_sent_avg

    • body_bytes_sent_sum

    • request_length_avg

    • request_length_sum

    • upstream_response_time_avg

    • upstream_response_time_p50

    • upstream_response_time_p90

    • upstream_response_time_p99

    • request_time_avg

    • request_time_p50

    • request_time_p90

    • request_time_p99

    alb-patrol-alb

    Time2Graph

    • pv:alb

    • body_bytes_sent_avg:alb

    • body_bytes_sent_sum:alb

    • request_length_avg:alb

    • request_length_sum:alb

    • upstream_response_time_avg:alb

    • upstream_response_time_p50:alb

    • upstream_response_time_p90:alb

    • upstream_response_time_p99:alb

    • request_time_avg:alb

    • request_time_p50:alb

    • request_time_p90:alb

    • request_time_p99:alb

  • 专属仪表盘

    仪表盘名称

    关联的Logstore或Metricstore

    说明

    监控概览

    访问日志Logstore名称-metrics

    展示ALB实例监控指标的总体情况,包括核心指标、错误码、流量、异常事件、访问PV、访问成功率、平均延迟等指标。

    监控中心

    • 访问日志Logstore名称-metrics

    • 访问日志Logstore名称

    展示ALB实例的实时监控数据,包括访问PV、请求成功率、平均延时、4xx请求数、Status分布、流量、P50延迟、P90延迟、P99延迟、TOP请求Host、TOP延迟Host、TOP失败率Host、TOP请求URL、TOP延迟URL、TOP失败率URL、TOP请求后端、TOP延迟后端、TOP失败率后端等指标。

    秒级监控

    访问日志Logstore名称

    以秒级粒度展示监控信息,便于发现瞬时抖动的异常情况,包括QPS、访问延迟、Upstream延迟、成功率、请求流量、返回Body流量、2xx状态码、3xx状态码、错误状态码、Upstream2xx状态码、Upstream3xx状态码、Upstream错误状态码等。

    实例巡检

    • 访问日志Logstore名称-metrics

    • 访问日志Logstore名称-metrics-result

    基于日志服务提供的机器学习算法,自动检测ALB实例的异常点,包括异常总数、高等级异常、异常等级分布、中等级异常、低等级异常、异常指标分布、异常列表、异常事件等指标。

    访问概览

    访问日志Logstore名称

    展示ALB实例的整体状态,包括PV对比昨日、PV对比上周、UV对比昨日、UV对比上周、PV分布、UV分布、今日访问PV、7天访问PV、TOP10访问省份、移动端占比、TOP10访问Host、TOP10访问UserAgent、TOP访问IP等指标。

费用说明

  • 阿里云负载均衡不针对日志管理功能收取额外费用。

  • 接入ALB访问日志后,日志服务将根据存储空间、读取流量、请求数量、数据加工、数据投递等进行收费。更多信息,请参见按使用功能计费模式计费项

使用限制

  • 日志服务Project与负载均衡实例需处于同一地域。

  • 目前,CloudLens for ALB支持如下地域。

    云类型

    地域

    公共云

    华北1(青岛)、华北2(北京)、华北3(张家口)、华北6(乌兰察布)、华东1(杭州)、华东2(上海)、华东5(南京-本地地域)、华南1(深圳)、华南3(广州)、西南1(成都)、中国(香港)、新加坡、马来西亚(吉隆坡)、印度尼西亚(雅加达)、日本(东京)、美国(硅谷)、美国(弗吉尼亚)、德国(法兰克福)、 澳大利亚(悉尼)关停中

注意事项

警告

CloudLens功能要求云账号下必须存在至少一个Project。

在用户开通和使用CloudLens功能时,日志服务会检测账号下是否存在Project,具体逻辑如下。

检测逻辑

  1. 用户第一次开通CloudLens功能,日志服务会自动检测您当前的阿里云账号下是否存在任意Project,如果没有Project,则会在华南2(河源)地域创建一个名称为aliyun-product-data-阿里云账号ID-cn-heyuan的Project。

  2. 用户开通CloudLens功能后进入CloudLens,日志服务只会自动检测您当前的阿里云账号下是否存在任意Project,不会在华南2(河源)地域创建Project,用户可以手动创建任意Project,创建Project的步骤请参见管理Project

删除Project

  • 如果您要删除aliyun-product-data-阿里云账号ID-cn-heyuan这个Project,可以打开云命令行,执行以下命令进行删除,请根据实际情况替换阿里云账号ID

    aliyunlog log delete_project --project_name=aliyun-product-data-阿里云账号ID-cn-heyuan --region-endpoint=cn-heyuan.log.aliyuncs.com
  • 删除其他Project和Logstore的步骤,请参见管理Logstore管理Project