借助阿里云在亚洲加速迈向成功
一站式安全合规咨询服务
MLPS 2.0 一站式合规解决方案
依托我们的网络进军中国市场
提升面向互联网应用的性能和安全性
保障您的中国业务安全无忧
通过强大的数据安全框架保护您的数据资产
申请 ICP 备案的流程解读和咨询服务
面向大数据建设、管理及应用的全域解决方案
企业内大数据建设、管理和应用的一站式解决方案
将您的采购和销售置于同一企业级全渠道数字平台上
全渠道内置 AI 驱动、拟人化、多语言对话的聊天机器人
快速搭建在线教育平台
提供域名注册、分析和保护服务
云原生 Kubernetes 容器化应用运行环境
以 Kubernetes 为使用界面的容器服务产品,提供符合容器规范的算力资源
安全的镜像托管服务,支持全生命周期管理
多集群环境下微服务应用流量统一管理
提供任意基础设施上容器集群的统一管控,助您轻松管控分布式云场景
高弹性、高可靠的企业级无服务器 Kubernetes 容器产品
敏捷安全的 Serverless 容器运行服务
为虚拟机和容器提供高可靠性、高性能、低时延的块存储服务
一款海量、安全、低成本、高可靠的云存储服务
可靠、弹性、高性能、多共享的文件存储服务
全托管、可扩展的并行文件系统服务。
全托管的 NoSQL 结构化数据实时存储服务
可抵扣多种存储产品的容量包,兼具灵活性和长期成本优化
让您的应用跨不同可用区资源自动分配访问量
随时绑定和解绑 VPC ECS
云网络公网、跨域流量统一计费
高性价比,可抵扣按流量计费的流量费用
创建云上隔离的网络,在专有环境中运行资源
在 VPC 环境下构建公网流量的出入口
具备网络状态可视化、故障智能诊断能力的自助式网络运维服务。
安全便捷的云上服务专属连接
基于阿里云专有网络的私有 DNS 解析服务
保障在线业务不受大流量 DDoS 攻击影响
系统运维和安全审计管控平台
业务上云的第一个网络安全基础设施
集零信任内网访问、办公数据保护、终端管理等多功能于一体的办公安全管控平台
提供7X24小时安全运维平台
防御常见 Web 攻击,缓解 HTTP 泛洪攻击
实现全站 HTTPS,呈现可信的 WEB 访问
为云上应用提供符合行业标准和密码算法等级的数据加解密、签名验签和数据认证能力
一款发现、分类和保护敏感数据的安全服务
创建、控制和管理您的加密密钥
快速提高应用高可用能力服务
围绕应用和微服务的 PaaS 平台
兼容主流开源微服务生态的一站式平台
多集群环境下微服务应用流量统一管理
Super MySQL 和 PostgreSQL,高度兼容 Oracle 语法
全托管 MySQL、PostgreSQL、SQL Server、MariaDB
兼容 Redis® 的缓存和KV数据库
兼容Apache Cassandra、Apache HBase、Elasticsearch、OpenTSDB 等多种开源接口
文档型数据库,支持副本集和分片架构
100%兼容 Apache HBase 并深度扩展,稳定、易用、低成本的NoSQL数据库。
低成本、高可用、可弹性伸缩的在线时序数据库服务
专为搜索和分析而设计,成本效益达到开源的两倍,采用最新的企业级AI搜索和AI助手功能。
一款兼容PostgreSQL协议的实时交互式分析产品
一种快速、完全托管的 TB/PB 级数据仓库
基于 Flink 为大数据行业提供解决方案
基于Qwen和其他热门模型的一站式生成式AI平台,可构建了解您业务的智能应用程
一站式机器学习平台,满足数据挖掘分析需求
高性能向量检索服务,提供低代码API和高成本效益
帮助您的应用快速构建高质量的个性化推荐服务能力
提供定制化的高品质机器翻译服务
全面的AI计算平台,满足大模型训练等高性能AI计算的算力和性能需求
具备智能会话能力的会话机器人
基于机器学习的智能图像搜索产品
基于阿里云深度学习技术,为用户提供图像分割、视频分割、文字识别等离线SDK能力,支持Android、iOS不同的适用终端。
语音识别、语音合成服务以及自学习平台
一站式智能搜索业务开发平台
助力金融企业快速搭建超低时延、高质量、稳定的行情数据服务
帮助企业快速测算和分析企业的碳排放和产品碳足迹
企业工作流程自动化,全面提高效率
金融级云原生分布式架构的一站式高可用应用研发、运维平台
eKYC 数字远程在线解决方案
可智能检测、大数据驱动的综合性反洗钱 (AML) 解决方案
阿里云APM类监控产品
实时云监控服务,确保应用及服务器平稳运行
为系统运维人员管理云基础架构提供全方位服务的云上自动化运维平台
面向您的云资源的风险检测服务
提升分布式环境下的诊断效率
日志类数据一站式服务,无需开发就能部署
ECS 预留实例
让弹性计算产品的成本和灵活性达到最佳平衡的付费方式。云原生 AI 套件
加速AI平台构建,提高资源效率和交付速度FinOps
实时分析您的云消耗并实现节约SecOps
实施细粒度安全控制DevOps
快速、安全地最大限度提高您的DevOps优势自带IP上云
自带公网 IP 地址上云全球网络互联
端到端的软件定义网络解决方案,可推动跨国企业的业务发展全球应用加速
提升面向互联网应用的性能和安全性全球互联网接入
将IDC网关迁移到云端云原生 AI 套件
加速AI平台构建,提高资源效率和交付速度FinOps
实时分析您的云消耗并实现节约SecOps
实施细粒度安全控制DevOps
快速、安全地最大限度提高您的DevOps优势金融科技云数据库解决方案
利用专为金融科技而设的云原生数据库解决方案游戏行业云数据库解决方案
提供多种成熟架构,解决所有数据问题Oracle 数据库迁移
将 Oracle 数据库顺利迁移到云原生数据库数据库迁移
加速迁移您的数据到阿里云阿里云上的数据湖
实时存储、管理和分析各种规模和类型的数据数码信贷
利用大数据和 AI 降低信贷和黑灰产风险面向企业数据技术的大数据咨询服务
帮助企业实现数据现代化并规划其数字化未来人工智能对话服务
全渠道内置 AI 驱动、拟人化、多语言对话的聊天机器人EasyDispatch 现场服务管理
为现场服务调度提供实时AI决策支持在线教育
快速搭建在线教育平台窄带高清 (HD) 转码
带宽成本降低高达 30%广电级大型赛事直播
为全球观众实时直播大型赛事,视频播放流畅不卡顿直播电商
快速轻松地搭建一站式直播购物平台用于供应链规划的Alibaba Dchain
构建和管理敏捷、智能且经济高效的供应链云胸牌
针对赛事运营的创新型凭证数字服务数字门店中的云 POS 解决方案
将所有操作整合到一个云 POS 系统中元宇宙
元宇宙是下一代互联网人工智能 (AI) 加速
利用阿里云 GPU 技术,为 AI 驱动型业务以及 AI 模型训练和推理加速DevOps
快速、安全地最大限度提高您的DevOps优势数据迁移解决方案
加速迁移您的数据到阿里云企业 IT 治理
在阿里云上构建高效可控的云环境基于日志管理的AIOps
登录到带有智能化日志管理解决方案的 AIOps 环境备份与存档
数据备份、数据存档和灾难恢复用阿里云金融服务加快创新
在云端开展业务,提升客户满意度
为全球资本市场提供安全、准确和数字化的客户体验
利用专为金融科技而设的云原生数据库解决方案
利用大数据和 AI 降低信贷和黑灰产风险
建立快速、安全的全球外汇交易平台
新零售时代下,实现传统零售业转型
利用云服务处理流量波动问题,扩展业务运营、降低成本
快速轻松地搭建一站式直播购物平台
面向大数据建设、管理及应用的全域解决方案
全渠道内置 AI 驱动、拟人化、多语言对话的聊天机器人
以数字化媒体旅程为当今的媒体市场准备就绪您的内容
带宽成本降低高达 30%
快速轻松地搭建一站式直播购物平台
为全球观众实时直播大型赛事,视频播放流畅不卡顿
使用阿里云弹性高性能计算 E-HPC 将本地渲染农场连接到云端
构建发现服务,帮助客户找到最合适的内容
保护您的媒体存档安全
通过统一的数据驱动平台提供一致的全生命周期客户服务
在钉钉上打造一个多功能的电信和数字生活平台
在线存储、共享和管理照片与文件
提供全渠道的无缝客户体验
面向中小型企业,为独立软件供应商提供可靠的IT服务
打造最快途径,助力您的新云业务扬帆起航
先进的SD-WAN平台,可实现WAN连接、实时优化并降低WAN成本
通过自动化和流程标准化实现快速事件响应
针对关键网络安全威胁提供集中可见性并进行智能安全分析
提供大容量、可靠且高度安全的企业文件传输
用智能技术数字化体育赛事
基于人工智能的低成本体育广播服务
专业的广播转码及信号分配管理服务
基于云的音视频内容引入、编辑和分发服务
在虚拟场馆中模拟关键运营任务
针对赛事运营的创新型凭证数字服务
智能和交互式赛事指南
轻松管理云端背包单元的绑定直播流
通过数据加强您的营销工作
元宇宙是下一代互联网
利用生成式 AI 加速创新,创造新的业务佳绩
阿里云高性能开源大模型
借助AI轻松解锁和提炼文档中的知识
通过AI驱动的语音转文本服务获取洞察
探索阿里云人工智能和数据智能的所有功能、新优惠和最新产品
该体验中心提供广泛的用例和产品帮助文档,助您开始使用阿里云 AI 产品和浏览您的业务数据。
利用阿里云 GPU 技术,为 AI 驱动型业务以及 AI 模型训练和推理加速
元宇宙是下一代互联网
构建发现服务,帮助客户找到最合适的内容
全渠道内置 AI 驱动、拟人化、多语言对话的聊天机器人
加速迁移您的数据到阿里云
在阿里云上建立一个安全且易扩容的环境,助力高效率且高成本效益的上云旅程
迁移到完全托管的云数据库
将 Oracle 数据库顺利迁移到云原生数据库
自带公网 IP 地址上云
利用阿里云强大的安全工具集,保障业务安全、应用程序安全、数据安全、基础设施安全和帐户安全
保护、备份和还原您的云端数据资产
MLPS 2.0 一站式合规解决方案
快速高效地将您的业务扩展到中国,同时遵守适用的当地法规
实现对 CloudOps、DevOps、SecOps、AIOps 和 FinOps 的高效、安全和透明的管理
构建您的原生云环境并高效管理集群
快速、安全地最大限度提高您的DevOps优势
实施细粒度安全控制
提供运维效率和总体系统安全性
实时分析您的云消耗并实现节约
实时存储、管理和分析各种规模和类型的数据
登录到带有智能化日志管理解决方案的 AIOps 环境
帮助企业实现数据现代化并规划其数字化未来
帮助零售商快速规划数字化之旅
将全球知名的 CRM 平台引入中国
在线存储、共享和管理照片与文件
构建、部署和管理高可用、高可靠、高弹性的应用程序
快速、安全地最大限度提高您的DevOps优势
将您的采购和销售置于同一企业级全渠道数字平台上
企业内大数据建设、管理和应用的一站式解决方案
帮助企业简化 IT 架构、实现商业价值、加速数字化转型的步伐
快速高效地将您的业务扩展到中国,同时遵守适用的当地法规
快速搜集、处理、分析联网设备产生的数据
0.0.201
文本日志是日志的最基本类型,本文介绍使用日志服务的Logtail采集器采集ECS主机上的文本日志、查询与分析日志,可视化查询与分析结果,配置日志异常告警等步骤,帮助您快速上手使用日志服务。
Logtail采集默认采集增量日志。如果您希望处理存量日志,请参考导入历史日志文件。
已有可用的ECS。更多信息,请参见云服务器ECS快速入门。
已开通日志服务。具体操作,请参见开通日志服务。
本示例中以一个包含一条文本日志的文本文件为例,其路径在ECS的/var/log/nginx/access.log
下。
access.log
文件中的日志内容如下:
10.0.*.1 - - [20/Mar/2023:12:00:03 +0000] "POST /login HTTP/1.1" 302 0 "http://example.com/login.html" "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.88 Safari/537.36"
针对该日志样例,本文介绍使用日志服务的操作步骤。若您拥有自备日志文件,也可使用自备文件并按需放置在ECS的自定义路径下。
阅读本文您可以学习:
创建Project(资源管理单元)和Logstore(日志存储单元)。
通过安装Logtail采集器并进行采集配置将日志采集到Logstore中进行存储。
在日志服务控制台对日志进行查询与分析。
将分析结果通过仪表盘转换为可视化图形。
通过配置告警规则实现告警监控。
如何清理不再需要的资源以免产生额外费用。
登录日志服务控制台。
在Project列表区域,单击创建Project,在创建Project面板中,选择所属地域(和ECS所属地域相同),输入Project名称,其余参数保持默认。
创建Project完成后,系统会提示您创建一个Logstore。在Logstore面板中,输入Logstore名称,其余参数保持默认。
您的ECS需要与日志服务Project属于同一地域。如果您的ECS不满足此条件,或者您使用的是自有服务器,请参考主机文本日志采集(手动安装)中的内容完成日志采集步骤。
通过进行Logtail采集配置,可以将Logtail安装至ECS服务器并开始采集日志,日志会发送到对应的Logstore中。
在创建成功对话框中,单击确定。
在快速数据接入对话框的自建开源/商业软件页签下,单击单行-文本日志对应的立即接入,表示将以单行解析的方式处理文本日志。
单击主机场景 > ECS > 创建机器组,在创建机器组面板中,选择与Project同地域的ECS实例(ECS实例可以选择多台),单击安装并创建为机器组。
页面中Logtail安装情况提示成功,则表示安装成功。如果安装失败,单击重建安装任务,重新选择与Project同地域的ECS实例。
Logtail安装完成后,输入机器组名称,IP地址会自动填充,无需填写。
检测机器组心跳。创建机器组大约需要2分钟。创建未生效,将导致心跳为FAIL。请2分钟后单击自动重试进行重试,直到机器组心跳为OK。机器组心跳FAIL排查请参见Logtail机器组无心跳。
参考下图,输入配置名称,文件路径为/var/log/nginx
与*.log
,添加背景信息中的1条日志样例。
Logtail配置生效需要1分钟左右,自动刷新后,出现预览数据,则说明Logtail配置生效。 配置生效后,单击下一步,Logtail采集配置全部完成。至此日志已按极简单行模式被存储到日志服务中。如果您希望使用其他解析模式,请参考采集配置。
在配置向导的结束步骤中,单击查询日志。跳转到目标Logstore的查询分析页面,可能会有如下提示,原因是索引还未配置完成,关闭后等待1分钟,即可查看access.log
文件中的日志内容。
在输入框中输入任意字符(如
HTTP
),选择时间范围,就可以查询包含该字符的日志。您可以在access.log
中多添加一些日志内容来查看,例如下图是重复添加了背景信息的日志样例到access.log
后的查询结果。查询与分析功能主要有索引与语句语法两方面,如果您需要更好的使用查询与分析功能,请参考通过索引模式查询和分析日志进行学习。
在Project页面左侧导航栏中找到仪表盘下的仪表盘列表,单击添加仪表盘。
在添加到仪表盘对话框,选择您希望的仪表盘布局模式,默认使用网格布局,填写仪表盘名称后单击确认。
在新生成的仪表盘中点击添加新图表后进入图表创建页面。
在编辑图表页面中,左下角查询分析面板处下拉选择Logstore(SQL),然后下拉选择对应的Logstore,输入select count(*) as pv
,表示统计日志条数并重命名为pv(访问量)。由于示例是统计数量,因此在右侧图表类型中选择统计图Pro,然后点击应用,即可展现下图效果。如果可视化效果符合预期,单击确定,然后在仪表盘页面中单击右上角的保存。仪表盘支持多种图表类型,支持数据筛选过滤与对接第三方工具,更多使用请参考可视化概述学习。
在Project页面左侧导航栏中找到告警,单击告警规则下的新建告警。
在新建告警页面中单击查询统计处的添加进行查询统计规则的配置。
按下图所示选择对应的Logstore,将查询区域的默认语句*|SELECT *
替换为*
后单击预览,即可出现查询数据。单击确认保存配置。该配置表示查询选中日志库下最近15分钟的所有日志数据。
*
表示查询所有的日志,*|SELECT *
表示查询并分析所有日志,分析日志需要为日志字段配置字段索引并开启统计功能。本示例未配置字段索引,如需分析日志请参见创建索引。
单击确定保存告警规则,此规则配置每15分钟查询统计所有日志,当日志条数大于1时,触发严重度为中的告警。
单击新建的告警规则,在告警历史区域中发现告警信息如下。在仪表盘可视化中统计数据是5,但是告警配置后第一次并未触发,手动在access.log
中添加两条背景信息中的日志样例后,统计数据为7并触发了告警。原因是检查频率与查询统计的查询区间均设置15分钟,造成只有增量日志时才触发告警的表象,您可以通过修改时间范围调整。如果您想深入了解告警功能,请参考告警概述以及快速设置日志告警进行学习。
在您完成以上快速入门教程后,您可能需要在实际业务场景中使用日志服务,此时您可能不再需要新手教程中创建的资源,但保留这些资源将会产生计费。因为只要Logstore存在,无论是否使用都会产生活跃Shard租用费用。因此,您需要手动删除资源。计费详情参考计费概述。
在Project页面找到对应Logstore后,先删除Logtail配置,然后再删除Logstore。
或者您也可以在Project列表中找到对应Project直接单击删除来删除Project的所有资源。
日志服务支持多种形式的日志采集,具体请参考数据采集概述。
采集阿里云K8s日志请参见采集阿里云ACK集群文本日志(DaemonSet方式部署Logtail)和采集阿里云ACK集群标准输出-旧版(DaemonSet方式部署Logtail)。
采集自建集群K8s日志请参见采集自建K8s集群文本日志(DaemonSet方式部署Logtail)和采集自建K8s集群标准输出-旧版(DaemonSet方式部署Logtail)。
采集云产品日志请参见云产品日志概述。
本文适用一个文件匹配一个Logtail采集配置的情况。如果您希望一份日志被多次采集,根据本文档操作完成后,然后参考如何实现文件中的日志被采集多份。
当您对日志服务功能使用较为熟练后,您可以结合函数计算配置自动触发器,来实现根据日志情况自动触发函数执行,具体请参考配置云产品事件触发器与SLS触发器。
您可以将重要的查询和分析结果保存成仪表盘(可视化工具)。具体操作,请参见创建仪表盘。
如需对日志配置告警,请参见快速设置日志告警。
下载日志请参见下载日志。
当您对查询分析与仪表盘使用较为熟练后,您可能会发现有时候原始数据无法满足您的分析要求,需要加工数据的情况。日志服务提供数据加工能力,对日志数据内容进行加工、清洗和过滤筛选。详情参考数据加工(新版)概述。
日志服务Logstore的时间为日志服务系统自动生成,如果想要日志服务的时间和原始日志时间一直,需要配置时间解析插件。更多信息,请参见时间解析。
当您在创建Logstore时,日志服务默认预留Shard资源,因此可能产生活跃Shard租用费用。更多信息,请参见为什么会产生活跃Shard租用费用?
使用Logtail采集日志失败,可能是因为Logtail心跳异常、采集错误、Logtail采集配置错误等原因。如何排查,请参见Logtail采集日志失败的排查思路。
如果您要分析日志,需要为日志字段配置字段索引并开启统计功能。更多信息,请参见创建索引。
日志服务开通后无法关闭,如果不再需要使用日志服务,您可删除所有Project,具体操作请参见停止计费。