PAI提供了特徵編碼、模型訓練及模型評估全套功能,您只需要抽取異常行為特徵,並對其進行標記,即可快速構建異常指標監控模型。
背景資訊
使用者系統中的異常資料(例如營運系統的CPU消耗突然增高或某平台突然產生大量不良資訊)屬於平台異常指標。如果能即時高效地監控平台指標,並對各種異常指標進行預防和即時預警,將大幅度提昇平台的智能化安全防衛能力。
解決方案
PAI提供了一套基於指標監控的分類演算法,將異常指標監控抽象為二分類情境,並將監控模型部署至線上系統,從而實現近線風控。該方案的要求如下:
人力要求:需要熟悉機器學習經典演算法,尤其是特徵工程及二分類演算法。
開發週期:1~2天。
資料要求:上千條的標籤資料,該資料標記了異常資料和正常資料。
資料集
本工作流程使用的資料為系統層級監控日誌資料,共22544條資料,其中異常資料為9711條。工作流程的樣本資料如下。
參數名稱 | 參數描述 |
protocol_type | 網路連接協議,包括tcp、icmp及udp等。 |
service | 服務合約,包括HTTP、finger、pop、private及smtp等。 |
flage | 取值包括SF、RSTO及REJ。 |
a2~a38 | 不同的系統指標。 |
class | 標籤欄位。其中normal表示正常樣本,anomaly表示異常樣本。 |
異常指標監控
進入Designer頁面。
登入PAI控制台。
在左側導覽列單擊工作空間列表,在工作空間列表頁面中單擊待操作的工作空間名稱,進入對應的工作空間。
在工作空間頁面的左側導覽列選擇 ,進入Designer頁面。
構建工作流程。
在Designer頁面,單擊預置模板頁簽。
在模板列表,單擊異常行為風控下的建立。
在建立工作流程對話方塊,配置參數(可以全部使用預設參數)。
其中:工作流程資料存放區配置為OSS Bucket路徑,用於儲存工作流程運行中產出的臨時資料和模型。
單擊確定。
您需要等待大約十秒鐘,工作流程可以建立成功。
在工作流程列表,雙擊異常行為風控,進入工作流程。
系統根據預置的模板,自動構建工作流程,如下圖所示。
地區
描述
①
工作流程的資料集。
②
特徵工程:
通過one-hot編碼組件將字元型特徵轉化為數值型。
通過歸一化組件將所有資料限定至0~1之間,從而去除量綱影響。歸一化後的資料如下圖所示。
通過SQL指令碼將目標列為anomaly的標記為1,將目標列為normal的標記為0。SQL樣本如下。
select (case class when 'anomaly' then 1 else 0 end) as class from ${t1};
③
根據正常和異常樣本,使用羅吉斯迴歸二分類演算法訓練監控模型。
④
使用二分類評估組件進行模型驗證,可以通過AUC、KS及F1Score等指標評估模型效果。
運行工作流程並查看模型效果。
單擊畫布上方的。
工作流程運行結束後,按右鍵畫布中的二分類評估,在捷徑功能表,單擊可視化分析。
在二分類評估對話方塊,單擊指標資料頁簽,即可查看模型評估指標資料。
其中AUC值表示該實驗模型的預測準確率達到了90%以上。