阿里云助力您在中国加快取得成功
一站式安全合规咨询服务
MLPS 2.0 一站式合规解决方案
依托我们的网络进军中国市场
提升面向互联网应用的性能和安全性
保障您的中国业务安全无忧
通过强大的数据安全框架保护您的数据资产
申请 ICP 备案的流程解读和咨询服务
面向大数据建设、管理及应用的全域解决方案
企业内大数据建设、管理和应用的一站式解决方案
将您的采购和销售置于同一企业级全渠道数字平台上
全渠道内置 AI 驱动、拟人化、多语言对话的聊天机器人
快速搭建在线教育平台
提供域名注册、分析和保护服务
云原生 Kubernetes 容器化应用运行环境
以 Kubernetes 为使用界面的容器服务产品,提供符合容器规范的算力资源
安全的镜像托管服务,支持全生命周期管理
多集群环境下微服务应用流量统一管理
提供任意基础设施上容器集群的统一管控,助您轻松管控分布式云场景
高弹性、高可靠的企业级无服务器 Kubernetes 容器产品
敏捷安全的 Serverless 容器运行服务
为虚拟机和容器提供高可靠性、高性能、低时延的块存储服务
一款海量、安全、低成本、高可靠的云存储服务
可靠、弹性、高性能、多共享的文件存储服务
全托管、可扩展的并行文件系统服务。
全托管的 NoSQL 结构化数据实时存储服务
可抵扣多种存储产品的容量包,兼具灵活性和长期成本优化
让您的应用跨不同可用区资源自动分配访问量
随时绑定和解绑 VPC ECS
云网络公网、跨域流量统一计费
高性价比,可抵扣按流量计费的流量费用
创建云上隔离的网络,在专有环境中运行资源
在 VPC 环境下构建公网流量的出入口
具备网络状态可视化、故障智能诊断能力的自助式网络运维服务。
安全便捷的云上服务专属连接
基于阿里云专有网络的私有 DNS 解析服务
保障在线业务不受大流量 DDoS 攻击影响
系统运维和安全审计管控平台
业务上云的第一个网络安全基础设施
集零信任内网访问、办公数据保护、终端管理等多功能于一体的办公安全管控平台
提供7X24小时安全运维平台
防御常见 Web 攻击,缓解 HTTP 泛洪攻击
实现全站 HTTPS,呈现可信的 WEB 访问
为云上应用提供符合行业标准和密码算法等级的数据加解密、签名验签和数据认证能力
一款发现、分类和保护敏感数据的安全服务
创建、控制和管理您的加密密钥
快速提高应用高可用能力服务
围绕应用和微服务的 PaaS 平台
兼容主流开源微服务生态的一站式平台
多集群环境下微服务应用流量统一管理
Super MySQL 和 PostgreSQL,高度兼容 Oracle 语法
全托管 MySQL、PostgreSQL、SQL Server、MariaDB
兼容 Redis® 的缓存和KV数据库
兼容Apache Cassandra、Apache HBase、Elasticsearch、OpenTSDB 等多种开源接口
文档型数据库,支持副本集和分片架构
100%兼容 Apache HBase 并深度扩展,稳定、易用、低成本的NoSQL数据库。
低成本、高可用、可弹性伸缩的在线时序数据库服务
专为搜索和分析而设计,成本效益达到开源的两倍,采用最新的企业级AI搜索和AI助手功能。
一款兼容PostgreSQL协议的实时交互式分析产品
一种快速、完全托管的 TB/PB 级数据仓库
基于 Flink 为大数据行业提供解决方案
基于Qwen和其他热门模型的一站式生成式AI平台,可构建了解您业务的智能应用程
一站式机器学习平台,满足数据挖掘分析需求
高性能向量检索服务,提供低代码API和高成本效益
帮助您的应用快速构建高质量的个性化推荐服务能力
提供定制化的高品质机器翻译服务
全面的AI计算平台,满足大模型训练等高性能AI计算的算力和性能需求
具备智能会话能力的会话机器人
基于机器学习的智能图像搜索产品
基于阿里云深度学习技术,为用户提供图像分割、视频分割、文字识别等离线SDK能力,支持Android、iOS不同的适用终端。
语音识别、语音合成服务以及自学习平台
一站式智能搜索业务开发平台
助力金融企业快速搭建超低时延、高质量、稳定的行情数据服务
帮助企业快速测算和分析企业的碳排放和产品碳足迹
企业工作流程自动化,全面提高效率
金融级云原生分布式架构的一站式高可用应用研发、运维平台
eKYC 数字远程在线解决方案
可智能检测、大数据驱动的综合性反洗钱 (AML) 解决方案
阿里云APM类监控产品
实时云监控服务,确保应用及服务器平稳运行
为系统运维人员管理云基础架构提供全方位服务的云上自动化运维平台
面向您的云资源的风险检测服务
提升分布式环境下的诊断效率
日志类数据一站式服务,无需开发就能部署
ECS 预留实例
让弹性计算产品的成本和灵活性达到最佳平衡的付费方式。云原生 AI 套件
加速AI平台构建,提高资源效率和交付速度FinOps
实时分析您的云消耗并实现节约SecOps
实施细粒度安全控制DevOps
快速、安全地最大限度提高您的DevOps优势自带IP上云
自带公网 IP 地址上云全球网络互联
端到端的软件定义网络解决方案,可推动跨国企业的业务发展全球应用加速
提升面向互联网应用的性能和安全性全球互联网接入
将IDC网关迁移到云端云原生 AI 套件
加速AI平台构建,提高资源效率和交付速度FinOps
实时分析您的云消耗并实现节约SecOps
实施细粒度安全控制DevOps
快速、安全地最大限度提高您的DevOps优势金融科技云数据库解决方案
利用专为金融科技而设的云原生数据库解决方案游戏行业云数据库解决方案
提供多种成熟架构,解决所有数据问题Oracle 数据库迁移
将 Oracle 数据库顺利迁移到云原生数据库数据库迁移
加速迁移您的数据到阿里云阿里云上的数据湖
实时存储、管理和分析各种规模和类型的数据数码信贷
利用大数据和 AI 降低信贷和黑灰产风险面向企业数据技术的大数据咨询服务
帮助企业实现数据现代化并规划其数字化未来人工智能对话服务
全渠道内置 AI 驱动、拟人化、多语言对话的聊天机器人EasyDispatch 现场服务管理
为现场服务调度提供实时AI决策支持在线教育
快速搭建在线教育平台窄带高清 (HD) 转码
带宽成本降低高达 30%广电级大型赛事直播
为全球观众实时直播大型赛事,视频播放流畅不卡顿直播电商
快速轻松地搭建一站式直播购物平台用于供应链规划的Alibaba Dchain
构建和管理敏捷、智能且经济高效的供应链云胸牌
针对赛事运营的创新型凭证数字服务数字门店中的云 POS 解决方案
将所有操作整合到一个云 POS 系统中元宇宙
元宇宙是下一代互联网人工智能 (AI) 加速
利用阿里云 GPU 技术,为 AI 驱动型业务以及 AI 模型训练和推理加速DevOps
快速、安全地最大限度提高您的DevOps优势数据迁移解决方案
加速迁移您的数据到阿里云企业 IT 治理
在阿里云上构建高效可控的云环境基于日志管理的AIOps
登录到带有智能化日志管理解决方案的 AIOps 环境备份与存档
数据备份、数据存档和灾难恢复用阿里云金融服务加快创新
在云端开展业务,提升客户满意度
为全球资本市场提供安全、准确和数字化的客户体验
利用专为金融科技而设的云原生数据库解决方案
利用大数据和 AI 降低信贷和黑灰产风险
建立快速、安全的全球外汇交易平台
新零售时代下,实现传统零售业转型
利用云服务处理流量波动问题,扩展业务运营、降低成本
快速轻松地搭建一站式直播购物平台
面向大数据建设、管理及应用的全域解决方案
全渠道内置 AI 驱动、拟人化、多语言对话的聊天机器人
以数字化媒体旅程为当今的媒体市场准备就绪您的内容
带宽成本降低高达 30%
快速轻松地搭建一站式直播购物平台
为全球观众实时直播大型赛事,视频播放流畅不卡顿
使用阿里云弹性高性能计算 E-HPC 将本地渲染农场连接到云端
构建发现服务,帮助客户找到最合适的内容
保护您的媒体存档安全
通过统一的数据驱动平台提供一致的全生命周期客户服务
在钉钉上打造一个多功能的电信和数字生活平台
在线存储、共享和管理照片与文件
提供全渠道的无缝客户体验
面向中小型企业,为独立软件供应商提供可靠的IT服务
打造最快途径,助力您的新云业务扬帆起航
先进的SD-WAN平台,可实现WAN连接、实时优化并降低WAN成本
通过自动化和流程标准化实现快速事件响应
针对关键网络安全威胁提供集中可见性并进行智能安全分析
提供大容量、可靠且高度安全的企业文件传输
用智能技术数字化体育赛事
基于人工智能的低成本体育广播服务
专业的广播转码及信号分配管理服务
基于云的音视频内容引入、编辑和分发服务
在虚拟场馆中模拟关键运营任务
针对赛事运营的创新型凭证数字服务
智能和交互式赛事指南
轻松管理云端背包单元的绑定直播流
通过数据加强您的营销工作
元宇宙是下一代互联网
利用生成式 AI 加速创新,创造新的业务佳绩
阿里云高性能开源大模型
借助AI轻松解锁和提炼文档中的知识
通过AI驱动的语音转文本服务获取洞察
探索阿里云人工智能和数据智能的所有功能、新优惠和最新产品
该体验中心提供广泛的用例和产品帮助文档,助您开始使用阿里云 AI 产品和浏览您的业务数据。
利用阿里云 GPU 技术,为 AI 驱动型业务以及 AI 模型训练和推理加速
元宇宙是下一代互联网
构建发现服务,帮助客户找到最合适的内容
全渠道内置 AI 驱动、拟人化、多语言对话的聊天机器人
加速迁移您的数据到阿里云
在阿里云上建立一个安全且易扩容的环境,助力高效率且高成本效益的上云旅程
迁移到完全托管的云数据库
将 Oracle 数据库顺利迁移到云原生数据库
自带公网 IP 地址上云
利用阿里云强大的安全工具集,保障业务安全、应用程序安全、数据安全、基础设施安全和帐户安全
保护、备份和还原您的云端数据资产
MLPS 2.0 一站式合规解决方案
快速高效地将您的业务扩展到中国,同时遵守适用的当地法规
实现对 CloudOps、DevOps、SecOps、AIOps 和 FinOps 的高效、安全和透明的管理
构建您的原生云环境并高效管理集群
快速、安全地最大限度提高您的DevOps优势
实施细粒度安全控制
提供运维效率和总体系统安全性
实时分析您的云消耗并实现节约
实时存储、管理和分析各种规模和类型的数据
登录到带有智能化日志管理解决方案的 AIOps 环境
帮助企业实现数据现代化并规划其数字化未来
帮助零售商快速规划数字化之旅
将全球知名的 CRM 平台引入中国
在线存储、共享和管理照片与文件
构建、部署和管理高可用、高可靠、高弹性的应用程序
快速、安全地最大限度提高您的DevOps优势
将您的采购和销售置于同一企业级全渠道数字平台上
企业内大数据建设、管理和应用的一站式解决方案
帮助企业简化 IT 架构、实现商业价值、加速数字化转型的步伐
快速高效地将您的业务扩展到中国,同时遵守适用的当地法规
快速搜集、处理、分析联网设备产生的数据
0.0.201
本文将为您介绍如何对实例中的连接进行诊断和管理。
Hologres兼容PostgreSQL,可以通过查询pg_stat_activity视图信息来查看实例连接信息,以达到分析实例连接状态和诊断运行SQL的目的。具体涉及的操作内容如下所示:
查询实例的默认最大连接数:不同的实例规格对应不同的默认连接数,通过命令查询当前实例规格的最大连接数。
HoloWeb可视化管理连接:通过HoloWeb可视化查看活跃连接,并进行管理如Kill等操作。
通过SQL查询连接信息:通过查询实例、DB的连接数、每个连接状态以及终止空闲连接,更好的管理实例。
释放连接:通过SQL函数,释放指定连接资源。
管理员预留连接:用于在连接数达到最大时对连接进行管理操作。
单个用户连接数限制:为单个用户设置连接数上限,以防止某个用户占用过多连接造成资源浪费。
自动释放空闲连接:开启自动释放空闲连接功能自动释放长期不使用连接。
连接数使用最佳实践:使用Hologres连接数的最佳实践建议。
pg_stat_activity是一个非常有用的视图,可以分析排查当前运行的SQL任务以及一些异常问题。您可以执行如下命令查看实例连接和Query的运行信息。
select * from pg_stat_activity ;
pg_stat_activity视图的参数说明如下所示。
字段 | 描述 |
字段 | 描述 |
datid | Hologres后端连接到的数据库的OID。 |
datname | Hologres后端连接到的数据库的名称。 |
pid | Hologres后端的进程ID。 |
usesysid | 登录到Hologres后端的用户OID。 |
usename | 当前连接的用户名。 |
application_name | 客户端的应用类型。 其中常见的应用类型如下:
|
client_addr | 客户端的IP地址。 显示的IP地址可能是被解析过的,不保证一定是源端IP。 |
client_hostname | 客户端的主机名。 |
client_port | 客户端的端口。 |
backend_start | 后台进程开始的时间。 |
xact_start | 该进程的当前事务被启动的时间。
|
query_start | 当前活动查询开始的时间,如果当前连接状态不是active,取值为上一个查询开始的时间。 |
state_change | 连接的状态(state)上一次被改变的时间。 |
wait_event_type | 后端正在等待的事件类型,如果不存在则为NULL。可能的取值有:
|
wait_event | 如果后端当前正在等待,则是等待事件的名称,否则为 NULL。 |
state | 表示连接的状态。常见的状态如下:
|
backend_xid | Hologres后端的顶层事务标识符。 |
backend_xmin | 当前后端的xmin范围。 |
query | 后端最近执行的查询。如果state为 |
backend_type | 当前后端的类型。可能的类型为autovacuum launcher、autovacuum worker、logical replication launcher、logical replication worker、parallel worker、background writer、client backend、checkpointer、startup、walreceiver、walsender以及 walwriter。除此之外还包括后端的执行组件,例如PQE等。 说明 需要关注 |
仅超级管理员(Superuser)可以看到所有连接信息,普通用户只能看到自己的连接信息。
不同的实例规格对应不同的默认连接数,您可以通过以下命令查询当前实例规格的最大连接数。命令执行完成后显示结果为单个FrontEnd节点的连接数,总连接数需要乘实例的FrontEnd节点数,不同实例的Frontend节点数请参见实例规格概述。
查询当前实例的最大连接数,Hologres V1.3.23及以上版本支持。
select instance_max_connections();
查询单个FrontEnd(FE)节点的最大连接数。实例总连接数即为FE数量乘以单个节点的最大连接数。
show max_connections;
您可以通过HoloWeb可视化查看活跃连接并进行管理。
登录HoloWeb控制台,详情请参见连接HoloWeb并执行查询。
单击顶部导航栏的诊断与优化。
在左侧导航栏单击活跃连接管理。
进入活跃连接管理页面,配置好参数,可查看实例的连接以及相关信息。
仅Superuser账号可以看到全部连接信息,普通用户只能看到自己的连接信息。
参数说明如下。
参数 | 说明 |
参数 | 说明 |
实例名 | Hologres实例名称。 |
数据库 | Hologres数据库名称,可选择指定数据库,不选择则默认展示全部数据库。 |
Database | 连接的数据库名称。 说明 若数据库名称为Postgres,则说明是后台运维连接,可忽略。 |
User Name | 连接的用户账号。 |
Client Address | 客户端IP地址,但不一定是真实的IP,可能是经过路由转发的出口IP。 |
Application Name | 连接的应用名称。 |
State | 连接的状态,常见的状态如下。
|
Query Start | Query开始时间。 |
Query | 执行的Query。 说明 若是Query太长,可能会被截断。 |
PID | Query的pid。 |
操作 |
|
若您更倾向于使用SQL的方式查询连接信息,可以通过以下方式操作。
查询当前数据库的连接数。
您可以通过如下命令查看当前数据库的连接数,更多关于参数的说明,请参见参数说明。
Hologres V1.1及以上版本。
SELECT datname::TEXT
,COUNT(1) AS COUNT
FROM pg_stat_activity
WHERE backend_type = 'client backend'
AND application_name != 'hologres'
GROUP BY datname::TEXT;
Hologres V0.10及以下版本。
SELECT datname
,COUNT(1) AS COUNT
FROM pg_stat_activity
WHERE backend_type = 'client backend'
AND application_name != 'hologres'
GROUP BY datname;
查看每个连接的状态。
您可以在Hologres管控台通过HoloWeb查看每个实例的连接状态,也可以执行如下语句,通过查询pg_stat_activity视图来获取所有JDBC或PSQL连接的状态。
select * from pg_stat_activity where backend_type = 'client backend' and state = '<statename>';
其中statename是需要填写的状态参数名,包括以下几种:
idle:空闲连接,表示进程在等待新的客户端命令。
active:活跃连接,表示进程正在执行查询操作。
idle in transaction:表示进程处于一个事务中,但是当前没有执行查询操作。
idle in transaction (aborted):表示进程处于一个事务中,该事务存在语句错误,并且进程当前没有执行查询操作。
fastpath function call:表示进程正在执行一个fast-path
函数。
disabled:表示进程的track activities
被禁用。
例如,您可以执行如下命令查询当前实例的空闲连接。
select * from pg_stat_activity where backend_type = 'client backend' and state = 'idle';
Holoweb等Hologres周边组件会通过JDBC的方式占用一定的连接数,如果您的连接数满足需求,无需关心此类连接数的占用。当SQL连接数长期接近或达到max_connections
时,意味着您需要检查您的应用是否存在连接数泄漏情况,需要在应用端合理设置连接池大小,或者您也可以根据下面章节释放空闲连接,详情请参见释放连接。
查看每个接入节点的连接数
查询实例当前每个FrontEnd节点的连接数,Hologres V1.3.23版本起支持。当前没有连接使用的FE节点不会显示在查询结果中。
select * from hologres.hg_connections;
查询结果字段含义如下:
fe_id:FE节点的编码。
used_connections:FE节点当前已使用的连接数。
max_connections:FE节点的最大连接数,同show max_connections
命令的返回值。
如果您遇到如下情况,则说明系统连接数(或者某个接入节点)已经达到上限:
连接数达到甚至超出max_connections
的取值,您可以在Hologres管控台的监控告警页查看连接数。
产生FATAL: sorry, too many clients already connection limit exceeded for superusers
报错。
产生FATAL: remaining connection slots are reserved for non-replication superuser connections
报错。
当您有上述情况产生,可以通过Superuser账号连接实例,执行如下语句查看空闲连接是否过多。
select * from pg_stat_activity where backend_type = 'client backend' and state = 'idle';
如果查询结果显示空闲进程过多,并且确定是无用的空闲连接时,可以找到上述语句结果中的pid字段,并执行如下语句释放空闲连接。更多关于参数的说明,请参见参数说明。
select pg_cancel_backend(<pid>); -- cancel该连接上的query
select pg_terminate_backend(<pid>); --杀掉对应的后台连接进程
--批量终止后台IDLE连接进程,释放连接
SELECT pg_terminate_backend(pid)
,query
,datname
,usename
,application_name
,client_addr
,client_port
,backend_start
,state
FROM pg_stat_activity
WHERE length(query) > 0
AND pid != pg_backend_pid()
AND backend_type = 'client backend'
AND state = 'idle'
AND application_name != 'hologres'
AND query not like '%pg_cancel_backend%';
Hologres会为Superuser预留连接,不同的实例规格预留的连接数不同,详情请参见实例规格概述。Superuser预留连接用于在连接数达到最大时对连接进行管理操作(如终止idle连接),普通用户的连接数最大为max_connections减去预留连接。在实践中,不建议普通用户使用Superuser账号操作数据库,否则会导致连接全部占满,且无法通过管理渠道释放连接。
由于Hologres兼容PostgreSQL,因此支持为单个用户设置连接数上限,以防止某个用户占用过多连接造成资源浪费。
通过执行如下语句限制单个用户在单个接入节点上的最大连接数,如果实例有多个节点,则总的连接数上限为单个节点连接数 * 节点数
。
语法示例
ALTER ROLE "云账号ID" CONNECTION LIMIT <number>;
参数说明
参数 | 说明 |
参数 | 说明 |
云账号ID | 需要限制的账号ID,如果为RAM用户,需要在账号UID前加p4_。 更多关于账号的说明,请参见账号概述。 |
number | 限制的连接数个数。 取值范围为[-1 , N],-1表示取消用户的连接数限制。 |
使用示例
如下示例限制RAM用户283813xxxx一个节点最多只有一个连接。
ALTER ROLE "p4_283813xxxx" CONNECTION LIMIT 1;
通过执行如下语句查看当前已经为实例用户设置的单节点限制连接数。
SELECT rolname, rolconnlimit
FROM pg_roles
WHERE rolconnlimit <> -1;
查询示例结果如下:
rolname | rolconnlimit
---------------+--------------
p4_283813xxxx | 1
(1 row)
当实例存在连接数长期接近或达到上限值时,可能存在连接泄漏情况,可以开启自动释放空闲连接功能来释放长期不使用连接。当连接空闲时间(无SQL执行)超过设置时间时,连接会自动被断开。
使用限制
仅Hologres V0.10.25及以上版本支持自动释放空闲连接功能,如果您的实例是V0.10.25以下版本,请您使用自助升级或加入实时数仓Hologres交流群申请升级实例。加入在线支持钉钉群请参见如何获取更多的在线支持?
语法示例
session级别。
-- 连接在10分钟没有执行sql的情况,会自动断开,单位为毫秒。
SET idle_session_timeout = 600000;
数据库级别。
-- 连接在10分钟没有执行sql的情况,会自动断开,单位为毫秒。
ALTER DATABASE <db_name> SET idle_session_timeout = 600000;
db_name为要开启自动释放空闲连接功能的数据库名称。
在使用Hologres连接数时的最佳实践建议如下所示。
善用Superuser账号
不建议使用Suerpser账号直接操作实例或者连接应用,否则当连接数超过实例默认连接数之后,账号将无法连接实例。
建议专门设置一个Superuser账号为运维账号,当出现连接数超过实例默认连接数、Query卡死等紧急情况时,使用该Superuser账号登录HoloWeb管理连接和Query。
设置合理的连接池
为了业务安全考虑,Hologres不会在后台自动释放连接,建议业务上给应用设置合理的连接池机制,让空闲连接及时释放。
定期清理空闲连接,防止空闲连接占用过多连接影响线上业务。
错误提示:执行sql时报错:terminating connection due to idle state timeout
。
可能原因:为实例设置了自动释放连接的超时,超过设置的超时时间后,连接就会自动断连,然后出现报错。
解决方案:重新连接,或者修改空闲连接超时时间为更大的数值,修改空闲连接超时时间操作请参见自动释放空闲连接。