Log Service機器學習功能為您提供多種功能豐富的演算法和便捷的調用方式,您可以在日誌查詢分析中通過分析語句和機器學習函數調用機器學習演算法,分析某一欄位或若干欄位在一段時間內的特徵。
針對時序資料分析情境,Log Service提供了豐富的時序分析演算法,可以協助您快速解決時序預測、時序異常檢測、序列分解、多時序聚類等情境問題,相容SQL標準介面,大大降低了您使用演算法的門檻,提高分析問題和解決問題的效率。
功能特點
- 支援單時序序列的多種平滑操作。
- 支援單時序序列的預測、異常檢測、變點檢測、折點檢測、多周期估計演算法。
- 支援單時序序列的分解操作。
- 支援多時序序列的多種聚類演算法。
- 支援多欄位(數值列、文本列)的模式挖掘。
使用限制
使用Log Service機器學習函數須遵循以下限制:
- 輸入的時序資料必須是基於相同時間間隔的採樣資料。
- 輸入的時序資料中不能含有重複時間點的資料。
- 處理容量限制。
限制項 說明 時序資料處理的有效容量 上限為150,000個連續時間點資料。 若數量超過上限,請進行彙總操作或者降採樣操作。
密度聚類演算法的聚類容量 上限為5000條時序曲線,每條時序曲線的長度最大為1440個點。 層次聚類演算法的聚類容量 上限為2000條時序曲線,每條時序曲線的長度最大為1440個點。
機器學習函數
類別 | 函數 | 說明 | |
時間序列 | 平滑函數 | ts_smooth_simple | 使用Holt Winters演算法對時序資料平滑。 |
ts_smooth_fir | 使用FIR濾波器對時序資料平滑。 | ||
ts_smooth_iir | 使用IIR濾波器對時序資料平滑。 | ||
多周期估計函數 | ts_period_detect | 對時序資料進行分段周期估計。 | |
變點檢測函數 | ts_cp_detect | 尋找時序序列中具有不同統計特性的區間,區間端點即為變點。 | |
ts_breakout_detect | 尋找時序序列中,某統計量發生陡升或陡降的點。 | ||
極大值檢測函數 | ts_find_peaks | 極大值檢測函數用於在指定視窗中尋找序列的局部極大值。 | |
預測與異常檢測函數 | ts_predicate_simple | 利用預設參數對時序資料進行建模,並進行簡單的時序預測和異常點的檢測。 | |
ts_predicate_ar | 使用自迴歸模型對時序資料進行建模,並進行簡單的時序預測和異常點的檢測。 | ||
ts_predicate_arma | 使用移動自迴歸模型對時序資料進行建模,並進行簡單的時序預測和異常點檢測。 | ||
ts_predicate_arima | 使用帶有差分的移動自迴歸模型對時序資料進行建模,並進行簡單的時序預測和異常點檢測。 | ||
ts_regression_predict | 針對含有周期性、趨勢性的單時序序列,進行準確且長時序預測。 | ||
序列分解函數 | ts_decompose | 使用STL演算法對時序資料進行序列分解。 | |
時序聚類函數 | ts_density_cluster | 使用密度聚類方法對多條時序資料進行聚類。 | |
ts_hierarchical_cluster | 使用層次聚類方法對多條時序資料進行聚類。 | ||
ts_similar_instance | 尋找到指定曲線名稱的相似曲線。 | ||
核密度估計函數 | kernel_density_estimation | 核密度估計函數採用平滑的峰值函數來擬合觀察到的資料點,從而對真實的機率分布曲線進行類比。 | |
時序補點函數 | series_padding | 如果時間序列中存在資料缺失問題,可以使用時序補點函數補齊缺失的資料。 | |
異常對比函數 | anomaly_compare | 用於比較某個觀測對象在兩個時間段的差異程度。 | |
模式挖掘 | 頻繁模式統計 | pattern_stat | 統計模式中的頻繁模式,在給定的多屬性欄位樣本中,挖掘出具有一定代表性的屬性群組合。 |
差異模式統計 | pattern_diff | 在指定條件下找出導致兩個集合差異的模式。 | |
根因分析函數 | rca_kpi_search | 在時序指標發生異常時,根因分析函數可以快速分析出是哪些相關維度屬性發生異常而導致監控指標發生異常。 | |
相關性分析函數 | ts_association_analysis | 針對系統中的多個觀測指標,快速找出和某個指標項相關的指標名稱。 | |
ts_similar | 針對系統中的多個觀測指標,快速找出和使用者輸入的時序序列相關的指標名稱。 | ||
URL請求分類函數 | url_classify | URL請求分類函數會自動將您輸入的URL請求路徑進行歸類打標籤,並提供類別的Regex,協助您更好的歸類URL。 |