Log Service提供資料即時消費功能,支援通過SDK即時消費資料。本文介紹即時消費功能的概念、功能優勢、應用情境、計費規則、消費目標等資訊。
即時消費
即時消費是指第三方軟體、多語言應用、雲產品、流式計算架構等通過SDK即時消費Log Service的資料。即時消費是對全量資料的順序讀寫,類似於訊息中介軟體Kafka的功能。即時消費支援傳入Log Service資料處理SPL語句,服務端返回處理結果,詳情請參見基於規則消費日誌。
即時消費和查詢與分析都是讀取資料。關於兩者的區別,請參見日誌消費與查詢區別。
應用情境
即時消費適用於Realtime Compute、Realtime Compute等情境。即時消費的即時性較強,通常為秒級。您可以自訂儲存時間。
功能優勢
即時消費具有以下優勢:
資料集中
Log Service已完成不同機器上的資料集中化,您只需通過SDK即時消費採集到的Log Service資料。
分類管理
您可以利用Log Service的資料分類管理功能,實現不同的應用和產品即時消費不同專案、不同類型的資料。
計費規則
若涉及的Logstore的計費模式為按寫入資料量計費模式,即時消費將不產生費用,僅從Log Service公網網域名稱所在介面拉取資料時,會產生外網讀取流量(按照壓縮後的資料量計算)。具體內容,可參見按寫入資料量計費模式計費項目。Logstore的計費模式的查看步驟,請參見管理Logstore。
若涉及的Logstore的計費模式為按功能付費模式,即時消費涉及多個計費項目,包括讀寫流量、請求費用等。更多資訊,請參見按使用功能計費模式計費項目。
消費目標
Log Service支援的即時消費目標如下表所示。
類型 | 目標 | 說明 |
第三方軟體 | Flume | 您可以通過Flume即時消費Log Service的資料。具體操作,請參見Flume消費。 |
Logstash | 您可以通過Logstash即時消費Log Service的資料。具體操作,請參見Logstash消費。 | |
QRadar | QRadar等安全資訊與事件管理系統可以通過HTTPS協議或Syslog協議即時消費Log Service的資料。具體操作,請參見通過HTTPS投遞日誌到SIEM和通過Syslog投遞日誌到SIEM。 | |
多語言應用 | 多語言應用 | Java、Python、Go等語言的應用作為消費者或消費組消費Log Service的資料。具體操作,請參見通過API消費和通過消費組消費日誌。 |
流式計算 | Flink | 您可以通過流式計算架構Flink即時消費Log Service的資料。具體操作,請參見Flink消費。 |
Spark | 您可以通過流式計算架構Spark即時消費Log Service的資料。具體操作,請參見Spark Streaming消費。 | |
雲產品 | Function Compute | 您可以通過Function Compute即時消費Log Service的資料。具體操作,請參見通過Function Compute消費日誌資料。 |
Blink | 您可以通過Realtime Compute即時消費Log Service的資料。具體操作,請參見Realtime Compute(Flink)消費。 |