全部產品
Search
文件中心

Platform For AI:資源配額監控與警示

更新時間:Aug 01, 2024

資源配額(Quota)支援查看並監控資源狀況,並且提供了全面詳細的監控指標,協助您更好地掌握資源負載情況。通過監控警示功能,您可以對資源配額(Quota)的資源水位進行即時監控,並靈活地配置警示規則和警示通知。如果資源水位出現波動,例如當CPU使用率超過設定閾值時,則會發送警示通知。本文為您介紹如何通過CloudMonitor和ARMS查看監控資料、配置監控警示通知、訂閱監控指標。

前提條件

設定資源配額(Quota)的監控與警示,您需要建立資源配額,詳情請參見資源配額(Quota)功能介紹

使用限制

功能分類

支援的資源類型

支援的地區

Quota

靈駿智算資源

  • 華北6(烏蘭察布)

  • 新加坡

通用計算資源

  • 華北2(北京)

  • 華東2(上海)

  • 華東1(杭州)

  • 華南1(深圳)

  • 華北6(烏蘭察布)

  • 新加坡

通過CloudMonitor

計費說明

CloudMonitor提供一定量的免費使用額度。如果您已開通基礎CloudMonitor的隨用隨付功能,在免費額度用盡後,通過簡訊或電話發送警示通知,或通過API方式訂閱監控指標時,將自動按照使用量計費。更詳細的計費說明,請參見CloudMonitor計費說明

查看監控資料

監控大盤

  1. 登入CloudMonitor控制台

  2. 在左側導覽列,選擇可視化(Dashboard) > 雲產品大盤

  3. 雲產品大盤頁面,選擇PAI-資源配額(Quota)。在搜尋方塊內,選擇或搜尋資源配額名稱,對應的監控圖表會在頁面下方展示。

    在對應的監控圖表中,可以進行以下操作:

    • 切換監控維度:目前支援Quota維度節點維度的監控指標展示。image

    • 切換展示時間範圍image

    • 放大視圖:您可以單擊每個圖表右上方的放大按鈕image.png,查看監控資料的細節視圖。image

監控指標及說明

監控指標主要包括CPU、記憶體、磁碟、網路,以及GPU相關指標。全量指標列表及細節說明請參見PAI-資源配額(Quota)指標列表

監控指標

描述

CPU調度量(Quota維度)

指定Quota的CPU調度量。

CPU總量(Quota維度)

指定Quota的CPU總量。

CPU使用率(Quota維度)

指定Quota的CPU使用百分比。

GPU算力使用率(Quota維度)

指定Quota的GPU算力使用率。

GPU顯存使用率(Quota維度)

指定Quota的GPU顯存使用率。

GPU調度量(Quota維度)

指定Quota的GPU調度量。

GPU總量(Quota維度)

指定Quota的GPU總量。

GPU裝置功耗(Quota維度)

指定Quota的GPU裝置功耗。

記憶體使用量率(Quota維度)

指定Quota的記憶體使用量百分比。

更多指標,請參考PAI-資源配額(Quota)指標列表

配置監控警示通知

通過監控警示功能,您可以監控資源配額(Quota)的資源水位,並靈活地配置警示規則。如果資源水位出現波動,例如低於配置的警示規則時,則會發送警示通知。通過CloudMonitor控制台配置監控警示通知的操作步驟如下:

步驟一:配置警示連絡人

  1. 建立警示連絡人。

    1. 登入CloudMonitor控制台

    2. 在左側導覽列,選擇警示服務 > 警示連絡人

    3. 警示連絡人頁簽,單擊建立連絡人

    4. 設定警示連絡人面板,填寫警示連絡人的姓名、郵箱和Webhook地址,其他參數均保持預設值。

      說明

      警示通知資訊語言預設為自動,表示CloudMonitor根據當前阿里雲帳號註冊時的語言,自動適配警示通知資訊的語言。

    5. 資訊驗證無誤後,單擊確認

  2. 建立警示聯絡組。

    1. 登入CloudMonitor控制台

    2. 在左側導覽列,選擇警示服務 > 警示連絡人

    3. 單擊警示聯絡組頁簽。

    4. 警示聯絡組頁簽,單擊建立連絡人群組

    5. 建立連絡人群組面板,填寫警示連絡人群組的組名,並選擇已有警示連絡人。

    6. 單擊確認

步驟二:配置警示規則

  1. CloudMonitor控制台的左側導覽列,選擇雲資源監控 > 雲產品監控

  2. 雲產品監控頁面,搜尋並進入PAI-資源配額(Quota)image

  3. PAI-資源配額(Quota)頁面,選擇服務所在的地區,然後單擊建立警示規則

  4. 建立警示規則面板,配置下列參數,並單擊確認

    參數

    描述

    產品

    CloudMonitor管理的產品名稱,選擇PAI-資源配額(Quota)

    資源範圍

    警示規則的作用範圍,目前支援全部資源、應用分組和執行個體:

    • 全部資源:任何資源滿足警示規則,都會發送警示通知。

    • 執行個體:根據您選定的產品,您需要選擇關聯資源(即資源配額ID),僅選中的單個或多個資源執行個體滿足警示規則時,才發送警示通知。

    規則描述

    警示規則主體,當監控資料滿足指定條件時,觸發警示規則。規則描述的設定方法如下:

    1. 單擊添加規則

    2. 設定規則描述面板,設定規則名稱、指標類型、監控指標、閾值及警示層級等。

      • 規則名稱:自訂規則名稱。

      • 指標類型:單指標、多指標和智能閾值(關於智能閾值的更多資訊,請參見建立智能閾值警示規則)。

      • 監控指標:指標類型,包括節點維度和Quota維度指標。

      • 閾值及警示層級:根據緊急、警告、普通層級,配置監控周期和閾值。

      • 警示方式:支援電話、簡訊、郵件和WebHook等。

    3. 單擊確定

    通道沉默周期

    警示發生後如果未恢複正常,間隔多久重複發送一次警示通知。

    生效時間

    警示規則的生效時間。警示規則只在生效時間內才會檢查監控資料是否需要警示。

    警示連絡人群組

    發送警示的連絡人群組,選擇已綁定警示連絡人的警示組。

    標籤

    自訂設定警示規則的標籤。包括標籤名稱和標籤值。

  5. PAI-資源配額(Quota)頁面,單擊查看警示規則,可查看已建立的警示規則詳情、警示歷史等,並支援修改規則。

您也可以通過調用API的方式,配置監控警示通知,功能包括查看警示歷史、管理警示模板、配置警示規則和警示連絡人等。具體調用方法和詳情介紹,請參見CloudMonitorAPI目錄:警示服務

訂閱監控指標

CloudMonitor提供完善的API服務,您可以通過調用API的方式,訂閱資源配額的監控指標及資料,搭建自己的監控系統和資料大盤。具體操作步驟,請參見雲產品監控API目錄

CloudMonitorAPI

API概述

DescribeMetricLast

調用DescribeMetricLast介面查詢指定監控項的最新監控資料。

DescribeMetricList

調用DescribeMetricList介面查詢指定雲產品的指定監控項的監控資料。

DescribeMetricData

調用DescribeMetricData介面查詢指定雲產品的某個監控項的監控資料。

DescribeMetricMetaList

調用DescribeMetricMetaList介面查詢CloudMonitor開放的監控項詳情。

DescribeProjectMeta

調用DescribeProjectMeta介面查詢CloudMonitor支援的時序類監控項產品列表。

DescribeMetricTop

調用DescribeMetricTop介面先查詢指定雲產品的指定監控項的最新監控資料,再查詢該監控項排序後的監控資料。

DescribeMetricList介面為例,為您說明如何調用該API來查詢PAI-分布式訓練(DLC)產品下指定指標的監控資料。

  1. 前往PAI-資源配額(Quota)指標列表頁面。

  2. 在指標列表頁面,單擊目標指標操作列下的擷取指標資料image

  3. 在OpenAPI門戶頁面,配置以下關鍵參數,其他參數取預設配置。更多參數配置說明,請參見DescribeMetricList

    參數

    描述

    Namespace

    配置為acs_pai_quota。

    MetricName

    配置對應的監控指標。例如QUOTA_CPU_REQUEST。

    StartTime

    開始時間。例如2024-05-15 00:00:00。

    EndTime

    結束時間。例如2024-05-28 00:00:00。

    說明

    StartTime和EndTime之間的間隔小於等於31天。

  4. 參數配置完成後,單擊發起調用,即可查看相應時間的監控資料。image

通過ARMS

您可以將PAI-資源配額(Quota)的監控資料接入到可觀測監控Prometheus版中,即時查看PAI-資源配額(Quota)的使用方式。

計費說明

詳細的計費說明,請參見Prometheus計費說明

接入監控資料

具體操作步驟如下:

  1. 登入ARMS控制台

  2. 在左側導覽列,單擊接入中心

  3. 接入中心頁面,單擊左側人工智慧頁簽,然後單擊阿里雲 PAI-資源配額 (Quota) 服務image

  4. (可選)在彈出的面板中,您可以預覽監控資料接入後的展示效果,並查看採集指標和警示規則模板。

    效果預覽

    單擊效果預覽頁簽,查看指標監控大盤。image

    採集指標

    單擊採集指標頁簽,查看採集指標。image

    警示規則模板

    單擊警示規則模板,查看警示規則模板。image

  5. 在彈出的面板的開始接入頁簽,配置以下參數,然後單擊確定

    參數

    描述

    選擇資料存放區地區

    選擇資料存放區的地區。

    接入名稱

    按照控制台提示資訊佈建服務的接入名稱。

    大約需要等待1~2分鐘,即可完成PAI-資源配額(Quota)監控資料的接入。

  6. 安裝完成後,您可以單擊接入管理,查看已接入環境的詳細資料。

查看Grafana大盤

  1. 登入ARMS控制台

  2. 在左側導覽列單擊接入管理

  3. 接入管理頁面的已接入環境頁簽中,選擇雲端服務地區環境

  4. 雲端服務地區環境列表中,單擊目標環境名稱進入雲端服務環境詳情頁面。

  5. 組件管理頁簽的組件類型地區單擊大盤,即可查看內建的Grafana大盤。image

  6. 單擊大盤名稱,查看監控大盤。d3bae3f2d8c2bc286812e5969e1b9118

配置Prometheus警示

  1. 在左側導覽列單擊接入管理

  2. 接入管理頁面的已接入環境頁簽中,選擇雲端服務地區環境

  3. 雲端服務地區環境列表中,單擊目標環境名稱進入雲端服務環境詳情頁面。

  4. 組件管理組件類型地區單擊警示規則,即可查看內建的警示規則。image

  5. 內建的警示規則會產生警示事件,但是不會進行警示通知,如果您希望將警示通知發送到郵件或其他平台,可以單擊編輯配置通知方式。image

    在編輯Prometheus警示規則頁面,您也可以自訂警示條件、期間、警示內容以及警示通知等。有關警示詳細配置的資訊,請參見Prometheus警示規則image