借助阿里云在亚洲加速迈向成功
一站式安全合规咨询服务
MLPS 2.0 一站式合规解决方案
依托我们的网络进军中国市场
提升面向互联网应用的性能和安全性
保障您的中国业务安全无忧
通过强大的数据安全框架保护您的数据资产
申请 ICP 备案的流程解读和咨询服务
面向大数据建设、管理及应用的全域解决方案
企业内大数据建设、管理和应用的一站式解决方案
将您的采购和销售置于同一企业级全渠道数字平台上
全渠道内置 AI 驱动、拟人化、多语言对话的聊天机器人
快速搭建在线教育平台
提供域名注册、分析和保护服务
云原生 Kubernetes 容器化应用运行环境
以 Kubernetes 为使用界面的容器服务产品,提供符合容器规范的算力资源
安全的镜像托管服务,支持全生命周期管理
多集群环境下微服务应用流量统一管理
提供任意基础设施上容器集群的统一管控,助您轻松管控分布式云场景
高弹性、高可靠的企业级无服务器 Kubernetes 容器产品
敏捷安全的 Serverless 容器运行服务
为虚拟机和容器提供高可靠性、高性能、低时延的块存储服务
一款海量、安全、低成本、高可靠的云存储服务
可靠、弹性、高性能、多共享的文件存储服务
全托管、可扩展的并行文件系统服务。
全托管的 NoSQL 结构化数据实时存储服务
可抵扣多种存储产品的容量包,兼具灵活性和长期成本优化
让您的应用跨不同可用区资源自动分配访问量
随时绑定和解绑 VPC ECS
云网络公网、跨域流量统一计费
高性价比,可抵扣按流量计费的流量费用
创建云上隔离的网络,在专有环境中运行资源
在 VPC 环境下构建公网流量的出入口
具备网络状态可视化、故障智能诊断能力的自助式网络运维服务。
安全便捷的云上服务专属连接
基于阿里云专有网络的私有 DNS 解析服务
保障在线业务不受大流量 DDoS 攻击影响
系统运维和安全审计管控平台
业务上云的第一个网络安全基础设施
集零信任内网访问、办公数据保护、终端管理等多功能于一体的办公安全管控平台
提供全面统一的云原生防护平台(CNAPP)能力
防御常见 Web 攻击,缓解 HTTP 泛洪攻击
实现全站 HTTPS,呈现可信的 WEB 访问
为云上应用提供符合行业标准和密码算法等级的数据加解密、签名验签和数据认证能力
一款发现、分类和保护敏感数据的安全服务
创建、控制和管理您的加密密钥
快速提高应用高可用能力服务
围绕应用和微服务的 PaaS 平台
兼容主流开源微服务生态的一站式平台
多集群环境下微服务应用流量统一管理
Super MySQL 和 PostgreSQL,高度兼容 Oracle 语法
全托管 MySQL、PostgreSQL、SQL Server、MariaDB
兼容 Redis® 的缓存和KV数据库
兼容Apache Cassandra、Apache HBase、Elasticsearch、OpenTSDB 等多种开源接口
文档型数据库,支持副本集和分片架构
100%兼容 Apache HBase 并深度扩展,稳定、易用、低成本的NoSQL数据库。
低成本、高可用、可弹性伸缩的在线时序数据库服务
专为搜索和分析而设计,成本效益达到开源的两倍,采用最新的企业级AI搜索和AI助手功能。
一款兼容PostgreSQL协议的实时交互式分析产品
一种快速、完全托管的 TB/PB 级数据仓库
基于 Flink 为大数据行业提供解决方案
基于Qwen和其他热门模型的一站式生成式AI平台,可构建了解您业务的智能应用程
一站式机器学习平台,满足数据挖掘分析需求
高性能向量检索服务,提供低代码API和高成本效益
帮助您的应用快速构建高质量的个性化推荐服务能力
提供定制化的高品质机器翻译服务
全面的AI计算平台,满足大模型训练等高性能AI计算的算力和性能需求
具备智能会话能力的会话机器人
基于机器学习的智能图像搜索产品
基于阿里云深度学习技术,为用户提供图像分割、视频分割、文字识别等离线SDK能力,支持Android、iOS不同的适用终端。
语音识别、语音合成服务以及自学习平台
一站式智能搜索业务开发平台
助力金融企业快速搭建超低时延、高质量、稳定的行情数据服务
帮助企业快速测算和分析企业的碳排放和产品碳足迹
企业工作流程自动化,全面提高效率
金融级云原生分布式架构的一站式高可用应用研发、运维平台
eKYC 数字远程在线解决方案
可智能检测、大数据驱动的综合性反洗钱 (AML) 解决方案
阿里云APM类监控产品
实时云监控服务,确保应用及服务器平稳运行
为系统运维人员管理云基础架构提供全方位服务的云上自动化运维平台
面向您的云资源的风险检测服务
提升分布式环境下的诊断效率
日志类数据一站式服务,无需开发就能部署
ECS 预留实例
让弹性计算产品的成本和灵活性达到最佳平衡的付费方式。云原生 AI 套件
加速AI平台构建,提高资源效率和交付速度FinOps
实时分析您的云消耗并实现节约SecOps
实施细粒度安全控制DevOps
快速、安全地最大限度提高您的DevOps优势自带IP上云
自带公网 IP 地址上云全球网络互联
端到端的软件定义网络解决方案,可推动跨国企业的业务发展全球应用加速
提升面向互联网应用的性能和安全性全球互联网接入
将IDC网关迁移到云端云原生 AI 套件
加速AI平台构建,提高资源效率和交付速度FinOps
实时分析您的云消耗并实现节约SecOps
实施细粒度安全控制DevOps
快速、安全地最大限度提高您的DevOps优势金融科技云数据库解决方案
利用专为金融科技而设的云原生数据库解决方案游戏行业云数据库解决方案
提供多种成熟架构,解决所有数据问题Oracle 数据库迁移
将 Oracle 数据库顺利迁移到云原生数据库数据库迁移
加速迁移您的数据到阿里云阿里云上的数据湖
实时存储、管理和分析各种规模和类型的数据数码信贷
利用大数据和 AI 降低信贷和黑灰产风险面向企业数据技术的大数据咨询服务
帮助企业实现数据现代化并规划其数字化未来人工智能对话服务
全渠道内置 AI 驱动、拟人化、多语言对话的聊天机器人EasyDispatch 现场服务管理
为现场服务调度提供实时AI决策支持在线教育
快速搭建在线教育平台窄带高清 (HD) 转码
带宽成本降低高达 30%广电级大型赛事直播
为全球观众实时直播大型赛事,视频播放流畅不卡顿直播电商
快速轻松地搭建一站式直播购物平台用于供应链规划的Alibaba Dchain
构建和管理敏捷、智能且经济高效的供应链云胸牌
针对赛事运营的创新型凭证数字服务数字门店中的云 POS 解决方案
将所有操作整合到一个云 POS 系统中元宇宙
元宇宙是下一代互联网人工智能 (AI) 加速
利用阿里云 GPU 技术,为 AI 驱动型业务以及 AI 模型训练和推理加速DevOps
快速、安全地最大限度提高您的DevOps优势数据迁移解决方案
加速迁移您的数据到阿里云企业 IT 治理
在阿里云上构建高效可控的云环境基于日志管理的AIOps
登录到带有智能化日志管理解决方案的 AIOps 环境备份与存档
数据备份、数据存档和灾难恢复用阿里云金融服务加快创新
在云端开展业务,提升客户满意度
为全球资本市场提供安全、准确和数字化的客户体验
利用专为金融科技而设的云原生数据库解决方案
利用大数据和 AI 降低信贷和黑灰产风险
建立快速、安全的全球外汇交易平台
新零售时代下,实现传统零售业转型
利用云服务处理流量波动问题,扩展业务运营、降低成本
快速轻松地搭建一站式直播购物平台
面向大数据建设、管理及应用的全域解决方案
全渠道内置 AI 驱动、拟人化、多语言对话的聊天机器人
以数字化媒体旅程为当今的媒体市场准备就绪您的内容
带宽成本降低高达 30%
快速轻松地搭建一站式直播购物平台
为全球观众实时直播大型赛事,视频播放流畅不卡顿
使用阿里云弹性高性能计算 E-HPC 将本地渲染农场连接到云端
构建发现服务,帮助客户找到最合适的内容
保护您的媒体存档安全
通过统一的数据驱动平台提供一致的全生命周期客户服务
在钉钉上打造一个多功能的电信和数字生活平台
在线存储、共享和管理照片与文件
提供全渠道的无缝客户体验
面向中小型企业,为独立软件供应商提供可靠的IT服务
打造最快途径,助力您的新云业务扬帆起航
先进的SD-WAN平台,可实现WAN连接、实时优化并降低WAN成本
通过自动化和流程标准化实现快速事件响应
针对关键网络安全威胁提供集中可见性并进行智能安全分析
提供大容量、可靠且高度安全的企业文件传输
用智能技术数字化体育赛事
基于人工智能的低成本体育广播服务
专业的广播转码及信号分配管理服务
基于云的音视频内容引入、编辑和分发服务
在虚拟场馆中模拟关键运营任务
针对赛事运营的创新型凭证数字服务
智能和交互式赛事指南
轻松管理云端背包单元的绑定直播流
通过数据加强您的营销工作
元宇宙是下一代互联网
利用生成式 AI 加速创新,创造新的业务佳绩
阿里云高性能开源大模型
借助AI轻松解锁和提炼文档中的知识
基于生成式AI的一体化平台,助您在同一个工作空间内高效创作多样化内容
通过AI驱动的语音转文本服务获取洞察
探索阿里云人工智能和数据智能的所有功能、新优惠和最新产品
该体验中心提供广泛的用例和产品帮助文档,助您开始使用阿里云 AI 产品和浏览您的业务数据。
利用阿里云 GPU 技术,为 AI 驱动型业务以及 AI 模型训练和推理加速
元宇宙是下一代互联网
构建发现服务,帮助客户找到最合适的内容
全渠道内置 AI 驱动、拟人化、多语言对话的聊天机器人
加速迁移您的数据到阿里云
在阿里云上建立一个安全且易扩容的环境,助力高效率且高成本效益的上云旅程
迁移到完全托管的云数据库
将 Oracle 数据库顺利迁移到云原生数据库
自带公网 IP 地址上云
利用阿里云强大的安全工具集,保障业务安全、应用程序安全、数据安全、基础设施安全和帐户安全
保护、备份和还原您的云端数据资产
MLPS 2.0 一站式合规解决方案
快速高效地将您的业务扩展到中国,同时遵守适用的当地法规
实现对 CloudOps、DevOps、SecOps、AIOps 和 FinOps 的高效、安全和透明的管理
构建您的原生云环境并高效管理集群
快速、安全地最大限度提高您的DevOps优势
实施细粒度安全控制
提供运维效率和总体系统安全性
实时分析您的云消耗并实现节约
实时存储、管理和分析各种规模和类型的数据
登录到带有智能化日志管理解决方案的 AIOps 环境
帮助企业实现数据现代化并规划其数字化未来
帮助零售商快速规划数字化之旅
将全球知名的 CRM 平台引入中国
在线存储、共享和管理照片与文件
构建、部署和管理高可用、高可靠、高弹性的应用程序
快速、安全地最大限度提高您的DevOps优势
将您的采购和销售置于同一企业级全渠道数字平台上
企业内大数据建设、管理和应用的一站式解决方案
帮助企业简化 IT 架构、实现商业价值、加速数字化转型的步伐
快速高效地将您的业务扩展到中国,同时遵守适用的当地法规
快速搜集、处理、分析联网设备产生的数据
0.0.201
阿里云Elasticsearch为运行中的集群提供了多项基础监控指标(例如集群状态、集群查询QPS、节点CPU使用率、节点磁盘使用率等),用来监测集群的运行状况。您可以根据这些指标,实时了解集群的运行状况,及时处理潜在风险,从而保障集群稳定运行。本文介绍如何查看集群监控详情,阐述各监控指标含义、异常原因和异常处理建议。
阿里云Elasticsearch集群监控可能与Kibana或第三方监控存在如下差异:
采样周期差异性:采集周期和Kibana或第三方监控存在差异,采集到的数据不同,因此会存在差异。
查询算法差异性:例如,阿里云Elasticsearch集群监控和Kibana监控采集数据时都会受集群稳定性的影响,集群监控QPS指标会因集群的抖动会出现监控突增、负值或无监控等状况,而Kibana监控可能显示为空。
如果集群监控提供的指标比Kibana监控多,在实际使用时,建议将集群监控和Kibana监控结合起来分析集群监控详情。
采集接口差异性:Kibana监控指标依赖于Elasticsearch API,而集群监控部分节点级别的指标(例如CPU使用率、load_1m、磁盘使用率等),调用的是阿里云Elasticsearch底层系统接口,因此监控中除了Elasticsearch进程外还包含了系统级别资源的占用情况。
在左侧导航栏,选择监控与日志 > 集群监控。
查看监控详情。
查看基础监控详情
查看基础监控页签,选择分组类别和监控时段,查看该类别的资源在对应时段内的监控详情。
您也可以单击自定义,选择开始时间和结束时间,单击确定,查看自定义时间段内的监控详情。
Elasticsearch实例的监控报警默认为开启状态,因此您可以在集群监控页面查看历史监控数据。目前只保留30天内的监控信息,并且提供分钟粒度的数据。
集群的基础监控指标包含十个分组:概览、集群指标、索引指标、节点资源指标、节点网络指标、节点磁盘指标、节点JVM指标、线程池指标、其他指标、废弃指标。具体如下所示(实际以控制台为准):
指标 | 指标描述 |
集群状态指标展示了集群的健康度,数值为0.00时表示正常。 | |
集群内节点总数(count)。 | |
集群内失联节点总数(count)。 | |
集群索引数量(count)。 | |
集群分片数量(count)。 | |
集群主分片数量(count)。 | |
集群慢查询条数(count)。 | |
快照状态指标展示了Elasticsearch控制台中,自动备份功能的快照状态。 当指标数值为0时表示有快照。 | |
集群写入QPS指标展示了集群每秒写入文档的数量。 | |
集群查询QPS指标展示了集群每秒执行的查询QPS数量,查询QPS数量与待查询索引的主分片个数有关。 | |
节点CPU使用率指标展示了集群中各节点的CPU使用率百分比。 | |
节点磁盘使用率指标展示了集群中各节点的磁盘使用率百分比。建议将磁盘使用率报警阈值控制在75%以下,不要超过85%。 | |
节点HeapMemory使用率指标展示了集群中各节点的HeapMemory使用率百分比。 | |
节点load_1m指标展示了集群中各节点在1分钟内的负载情况,表示各节点的系统繁忙程度。该指标的正常数值,应该低于对应节点规格的CPU核数。 | |
节点网络流入包指标展示了集群中各节点网络流入流量包的数量。监控周期:1分钟。 | |
数据流入率指标展示了集群中各节点每秒数据包的流入速率。监控周期:1分钟,单位:KB/s。 | |
节点网络流出包指标展示了集群中各节点网络流量包流出的数量。监控周期:1分钟。 | |
数据流出率指标展示了集群中各节点每秒数据包的流出速率。监控周期:1分钟,单位:KB/s。 | |
节点TCP链接数指标展示了集群中各节点收到的客户端每次发起TCP连接请求的数量。 | |
IOUtil指标展示了集群中各节点的IO使用率达到多少百分比。 | |
每秒完成的读请求数量指标展示了集群中各节点每秒完成的读请求数量。 | |
每秒钟读取的大小指标展示了每秒钟从集群中各节点读取的数据量。 | |
每秒完成的写请求数量指标展示了集群中各节点每秒完成的写请求数量。 | |
每秒钟写入的大小指标展示了每秒向集群中各节点写入的数据量。 |
指标 | 指标描述 |
集群状态指标展示了集群的健康度,数值为0.00时表示正常。 | |
集群内节点总数(count)。 | |
集群内失联节点总数(count)。 | |
集群索引数量(count)。 | |
集群分片数量(count)。 | |
集群主分片数量(count)。 | |
集群慢查询条数(count)。 | |
慢查询耗时分布指标基于慢日志中 | |
快照状态指标展示了Elasticsearch控制台中,自动备份功能的快照状态。当指标数值为0时表示有快照。 | |
集群写入QPS指标展示了集群每秒写入文档的数量。 | |
集群查询QPS指标展示了集群每秒执行的查询QPS数量,查询QPS数量与待查询索引的主分片个数有关。 | |
fielddata内存使用指标表示集群中fielddata内存占用情况,监控曲线越高,说明堆内存存在大量的fielddata数据缓存,过大的fielddata内存占用会触发fielddata内存熔断,影响集群稳定性。 |
指标 | 指标描述 |
索引index bulk写入tps指标展示了索引每秒bulk的请求量。 | |
索引查询QPS指标展示了索引每秒执行的查询QPS数量,查询QPS数量与待查询索引的主分片个数有关。 | |
索引端到端查询延迟_max(ms)。 |
指标 | 指标描述 | 备注 |
节点CPU使用率指标展示了集群中各节点的CPU使用率百分比。当CPU使用率较高或接近100%时,会影响集群服务。 | ||
节点磁盘使用率指标展示了集群中各节点的磁盘使用率百分比。建议将磁盘使用率报警阈值控制在75%以下,不要超过85%。 | ||
节点HeapMemory使用率指标展示了集群中各节点的HeapMemory使用率百分比。当HeapMemory使用率较高或存在较大的内存对象时,会影响集群服务,也会自动触发gc操作。 | ||
节点load_1m指标展示了集群中各节点在1分钟内的负载情况,表示各节点的系统繁忙程度。该指标的正常数值,应该低于对应节点规格的CPU核数。 | ||
节点系统内存使用率(%)。 | 仅云原生新管控(v3)版本支持。 | |
节点CPU IO等待百分比(%)。 | 仅云原生新管控(v3)版本支持。 |
指标 | 指标描述 | 备注 |
节点网络流入包指标展示了集群中各节点网络流入流量包的数量。监控周期:1分钟。 | ||
数据流入率指标展示了集群中各节点每秒数据包的流入速率。监控周期:1分钟,单位:KB/s。 | ||
节点网络流出包指标展示了集群中各节点网络从流量包流出的数量。监控周期:1分钟。 | ||
数据流出率指标展示了集群中各节点每秒数据包的流出速率。监控周期:1分钟,单位:KB/s。 | ||
节点TCP链接数指标展示了集群中各节点收到的客户端每次发起TCP连接请求的数量。 | ||
节点网络重传率(%)。 | 仅云原生新管控(v3)版本支持。 | |
网络吞吐量(KB/s)=数据流入率(KB/s)+数据流出率(KB/s)。 | 仅云原生新管控(v3)版本支持。 | |
节点网络基础带宽使用率_读(%)=数据流入率(KB/s)/节点网络基础带宽(Gbit/s)。 | 仅云原生新管控(v3)版本支持。 | |
节点网络基础带宽使用率_写(%)=数据流出率(KB/s)/节点网络基础带宽(Gbit/s)。 | 仅云原生新管控(v3)版本支持。 | |
节点网络基础带宽使用率(%)=(数据流入率(KB/s)+数据流出率(KB/s))/节点网络基础带宽(Gbit/s)。 | 仅云原生新管控(v3)版本支持。 | |
节点网络包计数(count)=节点网络流出包(count)+节点网络流入包(count)。 | 仅云原生新管控(v3)版本支持。 | |
节点网络包水位使用率_流出(%)=节点网络流出包(count)/节点网络收发包PPS。 | ||
节点网络包水位使用率_流入(%)=节点网络流入包(count)/节点网络收发包PPS。 | ||
节点网络包水位使用率(%)=(节点网络流出包(count)+节点网络流入包(count))/节点网络收发包PPS。 |
指标 | 指标描述 | 备注 |
IOUtil指标展示了集群中各节点的IO使用率达到多少百分比。 | ||
每秒完成的读请求数量指标展示了集群中各节点每秒完成的读请求数量。 | ||
每秒钟读取的大小指标展示了每秒从集群中各节点读取的数据量。 | ||
每秒完成的写请求数量指标展示了集群中各节点每秒完成的写请求数量。 | ||
每秒钟写入的大小指标展示了每秒向集群中各节点写入的数据量。 | ||
平均请求队列的长度。 | ||
磁盘IO吞吐量(MB/s)=每秒钟读取的大小(MB/s)+每秒钟写入的大小(MB/s)。 | 仅云原生新管控(v3)版本支持。 | |
磁盘网络带宽使用率_读(%)=每秒钟读取的大小(MB/s)/(ESSD)单盘吞吐量(MB/s)。 | 仅云原生新管控(v3)版本支持。 | |
磁盘网络带宽使用率_写(%)=每秒钟写入的大小(MB/s)/(ESSD)单盘吞吐量(MB/s)。 | 仅云原生新管控(v3)版本支持。 | |
磁盘网络带宽使用率(%)=(每秒钟读取的大小(MB/s)+每秒钟写入的大小(MB/s))/(ESSD)单盘吞吐量(MB/s)。 | 仅云原生新管控(v3)版本支持。 | |
磁盘IO网络基础带宽使用率_读(%)=每秒钟读取的大小(MB/s)/节点网络基础带宽(Gbit/s)。 | 仅云原生新管控(v3)版本支持。 | |
磁盘IO网络基础带宽使用率_写(%)=每秒钟写入的大小(MB/s)/节点网络基础带宽(Gbit/s)。 | 仅云原生新管控(v3)版本支持。 | |
磁盘IO网络基础带宽使用率(%)=(每秒钟读取的大小(MB/s)+每秒钟写入的大小(MB/s))/节点网络基础带宽(Gbit/s)。 | 仅云原生新管控(v3)版本支持。 | |
磁盘IO云盘基础带宽使用率_读(%)=每秒钟读取的大小(MB/s)/节点云盘基础带宽(Gbit/s)。 | 仅云原生新管控(v3)版本支持。 | |
磁盘IO云盘基础带宽使用率_写(%)=每秒钟写入的大小(MB/s)/节点云盘基础带宽(Gbit/s)。 | 仅云原生新管控(v3)版本支持。 | |
磁盘IO云盘基础带宽使用率(%)=(每秒钟读取的大小(MB/s)+每秒钟写入的大小(MB/s))/节点云盘基础带宽(Gbit/s)。 | 仅云原生新管控(v3)版本支持。 | |
磁盘IOPS(count)=每秒完成的读请求数量(count)+每秒完成的写请求数量(count)。 | 仅云原生新管控(v3)版本支持。 | |
磁盘IOPS使用率_读(%)=每秒完成的读请求数量(count)/(ESSD)单盘IOPS。 | 仅云原生新管控(v3)版本支持。 | |
磁盘IOPS使用率_写(%)=每秒完成的写请求数量(count)/(ESSD)单盘IOPS。 | 仅云原生新管控(v3)版本支持。 | |
磁盘IOPS使用率(%)=(每秒完成的读请求数量(count)+每秒完成的写请求数量(count))/(ESSD)单盘IOPS。 | 仅云原生新管控(v3)版本支持。 | |
云盘基础IOPS使用率(读)(%)=每秒完成的读请求数量(count)/节点云盘基础IOPS。 | 仅云原生新管控(v3)版本支持。 | |
云盘基础IOPS使用率(写)(%)=每秒完成的写请求数量(count)/节点云盘基础IOPS。 | 仅云原生新管控(v3)版本支持。 | |
云盘基础IOPS使用率(%)=(每秒完成的读请求数量(count)+每秒完成的写请求数量(count))/节点云盘基础IOPS。 | 仅云原生新管控(v3)版本支持。 |
指标 | 指标描述 |
old区使用指标展示了集群中各节点堆内存old区的使用大小。当old区占用较高或存在较大的内存对象,会影响集群服务,会自动触发GC操作,大对象回收可能会出现GC耗时较长或full gc。 | |
FullGc次数指标展示了集群中1分钟内的GC总次数。 | |
old gc频次指标表示集群中各个节点old区gc回收数量,当old区占用较高或存在较大的内存对象,会影响集群服务,会自动触发gc操作,大对象回收可能会出现gc耗时较长或full gc。 | |
old gc耗时指标表示集群中各个节点old区gc回收平均耗时,当old区占用较高或存在较大的内存对象,会自动触发gc操作,大对象回收可能会出现gc耗时较长或full gc。 |
指标 | 指标描述 |
Exception次数指标展示了集群的主日志中,一分钟内出现的警告级别日志的总个数。 |
指标 | 指标描述 | 备注 |
查询线程池中被拒绝的请求数(count)。 |
集群状态指标展示了集群的健康度,数值为0.00时表示正常。此监控指标必须配置,配置方法请参见配置集群报警。指标各数值的含义如下。
数值 | 颜色 | 状态 | 说明 |
数值 | 颜色 | 状态 | 说明 |
0.00 | 绿色 | 所有主分片和副本分片都可用。 | 表示该集群中的所有索引都很健康,不存在丢失(unassigned)的分片。 |
1.00 | 黄色 | 所有主分片可用,但不是所有副本分片都可用。 | 表示该集群中某个或某几个索引的副本分片丢失(unassigned)。 |
2.00 | 红色 | 不是所有的主分片都可用。 | 表示该集群中某个或某几个索引的主分片丢失(unassigned)。 |
表中的颜色是指在实例的基本信息页面所看到的集群状态的颜色。
监控期间,当指标数值不为0.00时,表示集群状态异常,常见原因如下:
节点的CPU或HeapMemory使用率过高,甚至达到100%。
节点的磁盘使用率过高,例如超过85%,甚至达到100%。
节点的load_1m负载过高。
集群中索引的健康度出现过非健康(非绿色)状态。
在Kibana控制台的Monitoring页面查看监控信息,或者查看实例的日志,获取问题的具体信息,并排查解决(例如索引占用内存太大,可删除一些索引)。
对于磁盘使用率过高导致集群异常的情况,建议参见集群磁盘使用率过高和read_only问题的排查与处理方法排查解决。
对于1核2 GB规格的实例,遇到实例状态不正常的问题时,建议先按照1:4(CPU:Mem)的规格升配集群,增大实例规格。升配后,如果状态依然异常,建议参见以上两种方案排查解决。
集群内节点总数(count)。
集群内失联节点总数(count)。
集群索引数量(count)。
集群分片数量(count)。
集群主分片数量(count)。
集群慢查询条数(count)。
慢查询耗时分布指标基于慢日志中index.search.slowlog.query
和index.search.slowlog.fetch
的日志,依据其耗时时间(took_millis)进行聚合,然后以1秒为间隔窗口(0-1s,1-2s,最多到10s)进行分布展示。用户可自行配置慢日志的阈值,相关的参数可以参考索引模板配置的index.search.slowlog.threshold.xxx
参数。
监控期间,当区间慢查询耗时,查询数量增大时,服务异常,常见原因如下:
指标异常原因 | 说明 |
指标异常原因 | 说明 |
QPS | 查询QPS或写入QPS流量突增或波动较大,集群压力大,相对单条查询耗时久。 |
有agg查询或者有脚本查询 | 聚合查询场景,需要耗用大量的计算资源做数据聚合,尤其是内存,在使用时请注意。 |
term查询数值字段 | 大批量的数值型byte、short、integer、long字段做term查询时,在构造docid集合的bitset很耗时,会影响查询速度。如果该数值字段没有range和agg聚合需求,建议改为keyword类型字段。 |
模糊匹配 | 通配符和正则表达式、模糊查询,需要遍历倒排索引中的词条列表来找到所有的匹配词条,进而逐个词条地收集对应的文档ID。尤其在未压测的前提下,大批量的查询,会耗用大量的计算资源,建议使用前结合场景压测,选择合适的量级。 |
存在个别慢查询或慢写入请求 | 此情况下,查询和写入QPS流量波动较小或不明显,可在阿里云Elasticsearch控制台中的查询日志页面,单击searching慢日志查看分析。 |
集群中存在大量索引或总分片数量非常多 | 由于Elasticsearch会监控集群中的索引并写入日志,因此当总索引或总分片数量过多时,容易引起CPU或HeapMemory使用率过高,或load_1m负载过高,影响整个集群查询速度。 |
在集群上执行过Merge操作 | Merge操作会消耗CPU资源,对应节点的Segment Count会突降,可在Kibana控制台中节点的Overview页面查看。 |
执行过gc操作 | gc操作会尝试释放内存(例如full gc),消耗CPU资源,可能会导致CPU使用率突增,影响查询速度。 |
执行过定时任务 | 数据备份或其他自定义任务,需要占用大量的IO资源,影响查询速度。 |
快照状态指标展示了Elasticsearch控制台中,自动备份功能的快照状态。当指标数值为0时表示有快照。指标各数值的含义如下。
快照状态 | 说明 |
快照状态 | 说明 |
0 | 有快照。 |
-1 | 没有快照。 |
1 | 正在进行快照。 |
2 | 快照任务失败。 |
指标数值为2时,服务异常,常见原因如下:
节点磁盘使用率很高或接近100%。
集群不健康。
如果写入QPS流量突增,可能引起CPU使用率、HeapMemory使用率或load_1m负载过高,影响集群服务,请尽量避免这种情况。
集群写入QPS指标展示了集群每秒写入文档的数量。具体说明如下:
如果1秒内,客户端向集群发送了1个只包含单个文档的写入请求,则对应1个写入QPS。如果1秒内发送了多个写入请求,则累加统计。
如果1秒内,通过_bulk API在一个写入请求中批量写入了多个文档,则写入QPS参考该请求中批量推送的总文档个数。如果1秒内发送了多个_bulk API批量写入请求,则累加统计。
如果查询QPS流量突增,可能引起CPU使用率、HeapMemory使用率或load_1m负载过高,影响集群服务,请尽量避免这种情况。
集群查询QPS指标展示了集群每秒执行的查询QPS数量,查询QPS数量与待查询索引的主分片个数有关。
例如:待查询索引有5个主分片,则一次查询请求对应5个QPS。
fielddata内存使用指标表示集群中fielddata内存占用情况,监控曲线越高,说明堆内存存在大量的fielddata数据缓存,过大的fielddata内存占用会触发fielddata内存熔断,影响集群稳定性。
监控期间,当指标占用大量的堆内存时,可能会出现服务异常,常见原因如下:
查询中存在大量对字符串(text)字段做排序或者聚合的操作,该类查询fielddata默认不会被回收,建议使用数值型字段类型。
查询QPS或写入QPS流量突增或波动较大,fielddata数据频繁地进行缓存。
集群中存在大量索引或总分片数量非常多。由于Elasticsearch会监控集群中的索引并写入日志,因此当总索引或总分片个数过多时,容易引起CPU或HeapMemory使用率过高,或load_1m负载过高。
索引bulk写入tps指标展示了索引每秒bulk的请求量。
监控期间,该指标可能存在没数据,常见原因如下:
集群压力大,影响集群监控数据的正常采集。
监控数据未成功推送。
索引查询QPS指标展示了索引每秒执行的查询QPS数量,查询QPS数量与待查询索引的主分片个数有关。
例如:待查询索引有5个主分片,则一次查询请求对应5个QPS。
监控期间,该指标可能存在没数据,常见原因如下:
集群压力大,影响集群监控数据的正常采集。
监控数据未成功推送。
索引查询QPS流量突增,可能就是该索引引起了集群CPU使用率、HeapMemory使用率或load_1m负载过高,影响整个集群服务,可以针对该索引进行优化。
索引端到端查询延迟_max(ms)。
节点CPU使用率指标展示了集群中各节点的CPU使用率百分比。当CPU使用率较高或接近100%时,会影响集群服务。
监控期间,当指标数值突增或波动较大时,服务异常,常见原因如下:
指标异常原因 | 说明 |
指标异常原因 | 说明 |
QPS | 查询QPS或写入QPS流量突增或波动较大。 |
存在个别慢查询或慢写入请求 | 此情况下,查询和写入QPS流量波动较小或不明显,可在阿里云Elasticsearch控制台中的日志查询页面,单击searching慢日志查看分析。 |
集群中存在大量索引或总分片数量非常多 | 由于Elasticsearch会监控集群中的索引并写入日志,因此当总索引或总分片数量过多时,容易引起CPU或HeapMemory使用率过高,或load_1m负载过高。 |
在集群上执行过Merge操作 | Merge操作会消耗CPU资源,对应节点的Segment Count会突降,可在Kibana控制台中节点的Overview页面查看。 |
执行过gc操作 | gc操作会尝试释放内存(例如full gc),消耗CPU资源。可能会导致CPU使用率突增。 |
执行过定时任务 | 数据备份或其他自定义任务。 |
节点CPU使用率不仅包含了阿里云Elasticsearch系统级别的资源的占用情况,也包含了Elasticsearch任务的资源占用情况。
节点磁盘使用率指标展示了集群中各节点的磁盘使用率百分比。建议将磁盘使用率报警阈值控制在75%以下,不要超过85%。否则默认数据节点的磁盘使用率可能会出现以下情况,影响集群服务。
节点磁盘使用率 | 说明 |
节点磁盘使用率 | 说明 |
>85% | 新的shard无法分配。 |
>90% | 集群会尝试将节点中的shard,迁移到其他磁盘使用率较低的数据节点中。 |
>95% | Elasticsearch会为集群中的每个索引强制设置 |
强烈建议您配置该监控指标,以便在发生报警时,及时扩容磁盘和节点或清理索引数据等,避免影响集群服务。
节点磁盘使用率不仅包含了阿里云Elasticsearch系统级别的资源的占用情况,也包含了Elasticsearch任务的资源占用情况。
节点HeapMemory使用率指标展示了集群中各节点的HeapMemory使用率百分比。当HeapMemory使用率较高或存在较大的内存对象时,会影响集群服务,也会自动触发gc操作。
监控期间,当指标数值突增或波动较大时,服务异常,常见原因如下:
指标异常原因 | 说明 |
指标异常原因 | 说明 |
QPS | 查询QPS或写入QPS流量突增或波动较大。 |
存在个别慢查询或慢写入请求 | 此情况下,查询和写入QPS流量波动较小或不明显,可在阿里云Elasticsearch控制台中的日志查询页面,单击searching慢日志查看分析。 |
存在大量慢查询或慢写入请求 | 此情况下,查询和写入QPS流量波动较大或很明显,可在阿里云Elasticsearch控制台中的日志查询页面,单击indexing慢日志查看分析。 |
集群中存在大量索引或总分片数量非常多 | 由于Elasticsearch会监控集群中的索引并写入日志,因此当总索引或总分片数量过多时,容易引起CPU或HeapMemory使用率过高,或load_1m负载过高。 |
在集群上执行过Merge操作 | Merge操作会消耗CPU资源,对应节点的Segment Count会突降,可在Kibana控制台中节点的Overview页面查看。 |
执行过gc操作 | gc操作会尝试释放内存(例如full gc),消耗CPU资源。可能会导致HeapMemory使用率突降。 |
执行过定时任务 | 数据备份或其他自定义任务。 |
节点load_1m指标展示了集群中各节点在1分钟内的负载情况,表示各节点的系统繁忙程度。该指标的正常数值,应该低于对应节点规格的CPU核数。以单核的Elasticsearch节点为例,指标各数值的含义如下。
节点load_1m | 说明 |
节点load_1m | 说明 |
<1 | 没有等待的进程。 |
=1 | 系统无额外的资源运行更多的进程。 |
>1 | 进程拥堵,等待资源。 |
节点load_1m指标不仅包含了阿里云Elasticsearch系统级别的资源的占用情况,也包含了Elasticsearch任务的资源占用情况。
节点load_1m指标出现波动可能是正常情况,建议您重点关注节点CPU使用率指标进行分析。
监控期间,当指标数值超过节点规格的CPU核数时,服务异常,常见原因如下:
节点的CPU或HeapMemory使用率过高,甚至达到100%。
查询QPS或写入QPS流量突增或上涨较大。
存在耗时较大的慢查询。
可在阿里云Elasticsearch控制台中的日志查询页面,打开对应日志查看分析。
节点load_1m不仅包含了阿里云Elasticsearch系统级别的资源的占用情况,也包含了Elasticsearch任务的资源占用情况。
节点系统内存使用率。
节点CPU IO等待百分比。
节点网络流入包指标展示了集群中各节点网络流入流量包的数量。监控周期:1分钟。
数据流入率指标展示了集群中各节点每秒数据包的流入速率。监控周期:1分钟,单位:KB/s。
节点网络流出包指标展示了集群中各节点网络从流量包流出的数量。监控周期:1分钟。
数据流出率指标展示了集群中各节点每秒数据包的流出速率。监控周期:1分钟,单位:KB/s。
节点TCP链接数指标展示了集群中各节点收到的客户端每次发起TCP连接请求的数量。
监控期间,当指标数值突增或波动较大时,服务异常,常见原因为:客户端发起TCP连接长时间未释放,导致节点TCP连接数量突增。建议客户端设置相关策略进行释放。
节点网络重传率。
网络吞吐量(KB/s)=数据流入率(KB/s)+数据流出率(KB/s)。
节点网络基础带宽使用率_读(%)=数据流入率(KB/s)/网络基础带宽(Gbit/s)。
节点网络基础带宽使用率_写(%)=数据流出率(KB/s)/网络基础带宽(Gbit/s)。
节点网络基础带宽使用率(%)=(数据流入率(KB/s)+数据流出率(KB/s))/网络基础带宽(Gbit/s)。
节点网络包计数(count)=节点网络流出包(count)+节点网络流入包(count)。
节点网络包水位使用率_流出(%)=节点网络流出包(count)/网络收发包PPS。
节点网络包水位使用率_流入(%)=节点网络流入包(count)/网络收发包PPS。
节点网络包水位使用率(%)=(节点网络流出包(count)+节点网络流入包(count))/网络收发包PPS。
IOUtil指标展示了集群中各节点的IO使用率达到多少百分比。
监控期间,当指标数值突增或波动较大时,服务异常,常见原因为:磁盘使用率过高,读取和写入数据的平均等待时间过长,导致IO使用率突增,甚至达到100%。建议您根据集群具体情况,并结合其他指标数据进行处理,例如进行集群升配等。
每秒完成的读请求数量指标展示了集群中各节点每秒完成的读请求数量。
每秒钟读取的大小指标展示了每秒从集群中各节点读取的数据量。
每秒完成的写请求数量指标展示了集群中各节点每秒完成的写请求数量。
每秒钟写入的大小指标展示了每秒向集群中各节点写入的数据量。
平均请求队列的长度。
磁盘IO吞吐量(MB/s)=每秒钟读取的大小(MB/s)+每秒钟写入的大小(MB/s)。
磁盘网络带宽使用率_读(%)=每秒钟读取的大小(MB/s)/单盘吞吐量性能计算公式(MB/s)。
磁盘网络带宽使用率_写(%)=每秒钟写入的大小(MB/s)/单盘吞吐量性能计算公式(MB/s)。
磁盘网络带宽使用率(%)=(每秒钟读取的大小(MB/s)+每秒钟写入的大小(MB/s))/单盘吞吐量性能计算公式(MB/s)。
磁盘IO网络基础带宽使用率_读(%)=每秒钟读取的大小(MB/s)/网络基础带宽(Gbit/s)。
磁盘IO网络基础带宽使用率_写(%)=每秒钟写入的大小(MB/s)/网络基础带宽(Gbit/s)。
磁盘IO网络基础带宽使用率(%)=(每秒钟读取的大小(MB/s)+每秒钟写入的大小(MB/s))/网络基础带宽(Gbit/s)。
磁盘IO云盘基础带宽使用率_读(%)=每秒钟读取的大小(MB/s)/云盘基础带宽(Gbit/s)。
磁盘IO云盘基础带宽使用率_写(%)=每秒钟写入的大小(MB/s)/云盘基础带宽(Gbit/s)。
磁盘IO云盘基础带宽使用率(%)=(每秒钟读取的大小(MB/s)+每秒钟写入的大小(MB/s))/云盘基础带宽(Gbit/s)。
磁盘IOPS(count)=每秒完成的读请求数量(count)+每秒完成的写请求数量(count)。
磁盘IOPS使用率_读(%)=每秒完成的读请求数量(count)/单盘IOPS性能计算公式。
磁盘IOPS使用率_写(%)=每秒完成的写请求数量(count)/单盘IOPS性能计算公式。
磁盘IOPS使用率(%)=(每秒完成的读请求数量(count)+每秒完成的写请求数量(count))/单盘IOPS性能计算公式。
云盘基础IOPS使用率(读)(%)=每秒完成的读请求数量(count)/云盘基础IOPS。
云盘基础IOPS使用率(写)(%)=每秒完成的写请求数量(count)/云盘基础IOPS。
云盘基础IOPS使用率(%)=(每秒完成的读请求数量(count)+每秒完成的写请求数量(count))/云盘基础IOPS。
old区使用指标展示了集群中各节点堆内存old区的使用大小。当old区占用较高或存在较大的内存对象,会影响集群服务,会自动触发GC操作,大对象回收可能会出现GC耗时较长或full gc。
监控期间,当指标数值突增或波动较大时,服务异常,常见原因如下:
指标异常原因 | 说明 |
指标异常原因 | 说明 |
QPS | 查询QPS或写入QPS流量突增或波动较大。 |
有agg查询或者有脚本查询 | 聚合查询场景,需要耗用大量的计算资源做数据聚合,尤其是内存,在使用时请注意。 |
term查询数值字段 | 大批量的数值型byte、short、integer、long字段做term查询时,在构造docid集合的bitset很费时,会影响查询速度。如果该数值字段没有range和agg聚合需求,建议改为keyword类型字段。 |
模糊匹配 | 通配符和正则表达式、模糊查询,需要遍历倒排索引中的词条列表来找到所有的匹配词条,进而逐个词条地收集对应的文档ID。尤其在未压测的前提下,大批量的查询,会耗用大量的计算资源,建议使用前结合场景压测,选择合适的量级。 |
存在个别慢查询或慢写入请求 | 此情况下,查询和写入QPS流量波动较小或不明显,可在阿里云Elasticsearch控制台中的查询日志页面,单击searching慢日志查看分析。 |
存在大量慢查询或慢写入请求 | 此情况下,查询和写入QPS流量波动较小或不明显,可在阿里云Elasticsearch控制台中的查询日志页面,单击indexing慢日志查看分析。 |
集群中存在大量索引或总分片数量非常多 | 由于Elasticsearch会监控集群中的索引并写入日志,因此当总索引或总分片数量过多时,容易引起CPU或HeapMemory使用率过高,或load_1m负载过高。 |
在集群上执行过Merge操作 | Merge操作会消耗CPU资源,对应节点的Segment Count会突降,可在Kibana控制台中节点的Overview页面查看。 |
执行过gc操作 | gc操作会尝试释放内存(例如full gc),消耗CPU资源,可能会导致HeapMemory使用率突降。 |
执行过定时任务 | 数据备份或其他自定义任务。 |
当系统出现频繁Full GC 时,会影响集群服务。
FullGc次数指标展示了集群中1分钟内的GC总次数。
监控期间,当指标数值不为0时,服务异常,常见原因如下:
HeapMemory使用率较高。
存在较大的内存对象。
old gc频次指标表示集群中各个节点old区gc回收数量,当old区占用较高或存在较大的内存对象,会影响集群服务,会自动触发gc操作,大对象回收可能会出现gc耗时较长或full gc。
基础监控指标full gc通过日志获取,高级监控中内存指标依赖ES引擎采集,两者获取方式及应用存在差异,建议结合所有指标综合判断集群性能。
请参见节点Old区使用(MiB)的指标异常原因。
old gc耗时指标表示集群中各个节点old区gc回收平均耗时,当old区占用较高或存在较大的内存对象,会自动触发gc操作,大对象回收可能会出现gc耗时较长或full gc。
请参见节点Old区使用(MiB)的指标异常原因。
查询线程池运行线程数(count)。
查询线程池中被拒绝的请求数(count)。
查询线程池中被拒绝的请求数(新版)(count)。
Exception次数指标展示了集群的主日志中,一分钟内出现的警告级别日志的总个数。
监控期间,当指标数值不为0时,服务异常,常见原因如下:
查询请求可能存在异常。
写入请求可能存在异常。
Elasticsearch执行任务时,遇到异常。
执行过gc操作。
可在阿里云Elasticsearch控制台中的日志查询页面,单击主日志。在主日志页面,根据时间点查看详细异常信息,并分析异常原因。
如果主日志中有gc记录,也会在Exception次数监控指标中统计展示。