全部产品
Search

搜索本产品

    人工智能平台 PAI：服务监控说明

    文档中心

    人工智能平台 PAI：服务监控说明

    更新时间：May 06, 2024

    EAS服务部署成功后，您可以在服务监控页面查看该服务的相关指标，来了解服务的调用和运行情况。本文为您介绍如何查看服务监控信息及监控指标说明。

    前提条件

    已部署模型服务，详情请参见服务部署：控制台。

    查看服务监控信息

    1. 进入模型在线服务（EAS）页面。

      1. 登录PAI控制台。

      2. 在左侧导航栏单击工作空间列表，在工作空间列表页面中单击待操作的工作空间名称，进入对应的工作空间。

      3. 在工作空间页面的左侧导航栏选择模型部署 > 模型在线服务（EAS），进入模型在线服务（EAS）页面。

    2. 单击目标服务服务监控列下的image.png，进入服务监控页签。

    3. 查看服务监控信息。

      切换仪表盘

        服务部署好后，默认创建以下3个仪表盘。

        • 服务名：分钟级监控仪表盘，包含大部分常用的分钟级监控指标。默认显示该仪表盘。

        • 服务名（fine）：秒级监控仪表盘。

        • 服务名（per）：单实例分钟级监控仪表盘。

        说明

        其中服务名在控制台显示为实际EAS服务的名称。

        您可以单击服务名右侧的按钮按钮，切换三个仪表盘，来查看各仪表盘具体的监控指标，关于监控指标的具体说明，请参见监控指标说明。22800e34cbc151919b64fb72b94db403.png

      切换时间范围

      单击监控信息区域右侧的按钮，来切换仪表盘展示的时间范围。image.png

      重要

      目前分钟级监控指标最多保留1个月，秒级监控指标最多保留1个小时。

    监控指标说明

    分钟级监控仪表盘

    您可以在该仪表盘监控以下指标信息：

    QPS（query per second）

    表示服务每秒的请求数。如果服务包含多个实例，则此处的指标为所有实例之和。不同返回码的请求数会分开计算。image

    Response

    表示服务在选定时间范围内接收的响应总数。不同返回码的响应数会分开计算。如果服务包含多个实例，则此处的指标为所有实例之和。image

    CPU

    表示服务在该时间点的CPU平均使用量。单位为核数。如果服务包含多个实例，则此处的指标为所有实例的平均值。CPU

    CPU Utilization

    表示服务在该时间点CPU平均使用率。计算方法为：CPU平均使用量 ÷ 最大可用核数。如果服务包含多个实例，则此处的指标为所有实例的平均值。CPU Utilization

    Memory Utilization

    表示服务在该时间点的内存平均使用率。计算方法为：内存rss ÷ 内存total。如果服务包含多个实例，则此处的指标为所有实例的平均值。Memory Utilization

    GPU

    如果您部署的服务使用了GPU，该面板指标表示服务在该时间点的GPU平均使用率。如果服务包含多个实例，则此处的指标为所有实例的平均值。GPU

    GPU Memory

    如果您部署的服务使用了GPU，该面板指标表示服务在该时间点的GPU显存的使用量。如果服务包含多个实例，则此处的指标为所有实例的平均值。GPU Memory

    Replicas

    表示服务在该时间点的实例数。Replicas

    CPU Total

    表示服务在该时间点可用的CPU总核数。计算方法为：单实例可用CPU核数 × 服务实例数。CPU Total

    Daily Invoke

    表示服务每天的调用量，不同返回码的调用量会分开计算。Daily Invoke

    RT

    表示请求的响应时间。image

    其中：

    • avg：表示该时间点所有请求的平均响应时间。

    • tpXX：表示将该时间点所有请求时间从低到高排序后，前百分之XX请求的最大响应时间。

      例如：tp5表示前百分之五请求的最大响应时间；tp100表示所有请求的最大响应时间。

      如果服务包含多个实例，tp100表示所有实例的请求最大响应时间；tp5表示所有实例前百分之五请求的最大响应时间的平均值。

    Memory

    表示服务在该时间点的内存平均使用量。如果服务包含多个实例，则此处的指标为所有实例的平均值。Memory其中：

    • rss：表示常驻物理内存大小。

    • cache：表示缓存大小。

    • total：表示单个实例最大可用的物理内存大小。

    Traffic

    表示服务接收和发出的流量大小，单位为比特每秒。如果服务包含多个实例，则此处的指标为所有实例的平均值。image

    其中：

    • in：表示服务接收的流量。

    • out：表示服务发出的流量。

    TCP Connections

    表示TCP连接数。

    image.png

    秒级监控仪表盘

    您可以在该仪表盘监控以下指标：

    Instance QPS Fine

    统计服务中每个实例每秒接收的请求数。不同返回码的请求数会分开计算。

    重要

    数据精度精确到5秒级别，只保留最近1个小时的数据。

    Instance QPS Fine其中：实例使用ip:port来标识。

    Instance RT Fine

    统计服务中每个实例接收到请求的平均响应时间。

    重要

    数据精度精确到5秒级别，只保留最近1个小时的数据。

    Instance RT Fine其中：实例使用ip:port来标识。

    单实例分钟级监控仪表盘

    您可以在该仪表盘监控以下指标：

    Instance QPS

    统计服务中每个实例每秒接收的请求数。不同返回码的请求数会分开计算。Instance QPS其中：实例使用ip:port来标识。

    Instance RT

    统计服务中每个实例的平均响应时间。Instance RT其中：实例使用ip:port来标识。

    Instance CPU

    统计服务中每个实例的CPU使用量，单位为核数。Instance CPU其中：实例使用ip:port来标识。

    Instance Memory

    统计服务中每个实例的内存使用量。Instance Memory其中：实例使用ip:port来标识。

    Instance GPU

    统计服务中每个实例的GPU使用率。Instance GPU

    Instance GPU Memory

    统计服务中每个实例的GPU显存使用量。Instance GPU Memory

    Instance TCP Connections

    表示单实例TCP连接数。image.png

    相关文档

    • 通过监控报警功能对服务指标进行监控，当指标数据超过了配置的报警规则，则发送报警通知。详情请参见开通服务监控报警。

    • 通过云监控控制台或API接口查看EAS服务实例事件，对事件进行运维、审计或报警设置，详情请参见查看服务实例云监控事件。

    • 根据业务逻辑设置自定义的监控指标，并根据这些指标进行弹性伸缩，详情请参见自定义监控及扩缩容指标。