全部產品
Search
文件中心

Platform For AI:異常指標監控

更新時間:Jul 13, 2024

PAI提供了特徵編碼、模型訓練及模型評估全套功能,您只需要抽取異常行為特徵,並對其進行標記,即可快速構建異常指標監控模型。

背景資訊

使用者系統中的異常資料(例如營運系統的CPU消耗突然增高或某平台突然產生大量不良資訊)屬於平台異常指標。如果能即時高效地監控平台指標,並對各種異常指標進行預防和即時預警,將大幅度提昇平台的智能化安全防衛能力。

解決方案

PAI提供了一套基於指標監控的分類演算法,將異常指標監控抽象為二分類情境,並將監控模型部署至線上系統,從而實現近線風控。該方案的要求如下:

  • 人力要求:需要熟悉機器學習經典演算法,尤其是特徵工程及二分類演算法。

  • 開發週期:1~2天。

  • 資料要求:上千條的標籤資料,該資料標記了異常資料和正常資料。

資料集

本工作流程使用的資料為系統層級監控日誌資料,共22544條資料,其中異常資料為9711條。工作流程的樣本資料如下。異常監控實驗資料

參數名稱

參數描述

protocol_type

網路連接協議,包括tcpicmpudp等。

service

服務合約,包括HTTPfingerpopprivatesmtp等。

flage

取值包括SFRSTOREJ

a2~a38

不同的系統指標。

class

標籤欄位。其中normal表示正常樣本,anomaly表示異常樣本。

異常指標監控

  1. 進入Designer頁面。

    1. 登入PAI控制台

    2. 在左側導覽列單擊工作空間列表,在工作空間列表頁面中單擊待操作的工作空間名稱,進入對應的工作空間。

    3. 在工作空間頁面的左側導覽列選擇模型開發與訓練 > 可視化建模(Designer),進入Designer頁面。

  2. 構建工作流程。

    1. Designer頁面,單擊預置模板頁簽。

    2. 在模板列表,單擊異常行為風控下的建立

    3. 建立工作流程對話方塊,配置參數(可以全部使用預設參數)。

      其中:工作流程資料存放區配置為OSS Bucket路徑,用於儲存工作流程運行中產出的臨時資料和模型。

    4. 單擊確定

      您需要等待大約十秒鐘,工作流程可以建立成功。

    5. 在工作流程列表,雙擊異常行為風控,進入工作流程。

    6. 系統根據預置的模板,自動構建工作流程,如下圖所示。

      異常監控實驗

      地區

      描述

      工作流程的資料集。

      特徵工程:

      1. 通過one-hot編碼組件將字元型特徵轉化為數值型。

      2. 通過歸一化組件將所有資料限定至0~1之間,從而去除量綱影響。歸一化後的資料如下圖所示。歸一化結果

      3. 通過SQL指令碼將目標列為anomaly的標記為1,將目標列為normal的標記為0。SQL樣本如下。

        select (case class  when 'anomaly' then 1 else 0 end) as class from  ${t1};

      根據正常和異常樣本,使用羅吉斯迴歸二分類演算法訓練監控模型。

      使用二分類評估組件進行模型驗證,可以通過AUC、KS及F1Score等指標評估模型效果。

  3. 運行工作流程並查看模型效果。

    1. 單擊畫布上方的image

    2. 工作流程運行結束後,按右鍵畫布中的二分類評估,在捷徑功能表,單擊可視化分析

    3. 二分類評估對話方塊,單擊指標資料頁簽,即可查看模型評估指標資料。

      指標監控模型結果其中AUC值表示該實驗模型的預測準確率達到了90%以上。