日志服务：最佳实践

数据采集

• IoT/嵌入式日志

• 通过WebTracking采集日志

• 搭建移动端日志直传服务

• 通过Logtail采集Zabbix数据

• 通过Logtail跨阿里云账号采集日志

• 通过Logtail跨阿里云账号采集容器日志

• 投递CDN实时日志到SLS来分析用户访问数据

时序存储

使用Prometheus采集Kubernetes监控数据

查询与分析

• 查询和分析网站日志

• 查询和分析JSON日志

• 关联Logstore与MySQL数据库进行查询分析

• 关联Logstore与OSS外表进行查询和分析

• 采集和查询分析Nginx监控日志

• 分析Nginx访问日志

• 分析Apache日志

• 分析IIS日志

• 分析Log4j日志

• 分析网站日志

• 查询分析程序日志

• 分析负载均衡7层访问日志

• 分页显示查询分析结果

• 分析行车轨迹日志

• 分析销售系统日志

数据加工

• 调用函数清洗数据

• 事件判断

• 处理日期时间

• 数据脱敏

• 解析Syslog标准格式数据

• 解析Nginx日志

• 解析Java报错日志

• 提取字符串动态键值对

• 特定格式文本数据加工

• 解析CSV格式日志

• 复杂JSON数据加工

• 将Logstore中的日志字段转换MetricStore中的度量指标

• 从其他Logstore获取数据进行数据富化

• 从OSS获取IPIP库进行IP地址数据富化

• 从OSS获取IP2Location库进行IP地址数据富化

• 从OSS获取CSV文件进行数据富化

• 从RDS MySQL数据库获取数据进行数据富化

• 通过日志服务访问RDS MySQL进行数据富化

• 使用资源函数增量获取数据

• 使用e_dict_map函数进行数据富化

• 从Hologres数据库获取数据进行富化

• 构建字典与表格做数据富化

• 使用e_table_map函数对HTTP请求返回码进行富化

• 复制Logstore数据

• 跨地域传输数据

• 多目标Logstore数据分发

• 将不同Logstore的日志数据汇总到一个Logstore

• 复制和分发数据

告警

• 基于日志关键字设置告警

• 自定义分析告警日志

可视化

• 添加变量类型的过滤器

• 添加过滤器类型的过滤器

消费与投递

• 搭建监控系统

• 计量计费日志

• 通过Consumer Library实现高可靠消费

日志应用

Trace服务

• 导出Trace数据到Grafana

• 接入Apache SkyWalking Trace数据到日志服务

• 在K8s环境下接入Apache SkyWalking Trace数据到日志服务

• 接入Kubernetes Ingress链路数据