Simple Log Service：資料加工（新版）概述

加工原理

Log Service提供的資料加工（新版）功能，通過託管即時資料消費的任務，結合Log ServiceSPL規則消費功能，實現對日誌資料的即時加工處理。關於SPL規則細節請參考SPL文法，對應SPL的即時消費應用情境，SPL規則消費請參考普通消費概述。

調度機制

對每一個加工任務，加工服務的調度器會啟動一個或多個運行執行個體，並發執行資料處理，每個運行執行個體扮演一個消費者角色消費1個或者多個源Logstore的Shard。調度器根據運行執行個體資源消耗以及處理進度決定運行執行個體數目，實現彈性並發。單個任務的並發上限為源Logstore的Shard數量。

運行執行個體

根據任務的SPL規則和目標Logstore等配置資訊，從資料加工服務分配的Shard中，使用SPL規則消費源日誌資料，將基於SPL規則處理後的結果分發寫入對應的目標Logstore。在運行執行個體運行過程中，自動儲存Shard的消費點位，確保任務停止重啟時，從斷點處繼續消費。

任務停止

資料加工任務運行生命週期和任務狀態，跟任務配置和操作相關，詳情請參考ETL。

適用情境

資料加工功能用於資料的規整、流轉、脫敏和過濾等處理情境，具體說明如下。

• 資料規整與資訊提取：針對混亂格式的日誌進列欄位提取、格式轉換，擷取結構化資料以支援下遊的流處理、資料倉儲分析。

• 資料流轉與分發：

  • 不同類型的日誌統一採集至一個Logstore，根據日誌特徵將來自不同服務模組或者業務組件的日誌分發給對應的下遊Logstore，以實現資料隔離、分情境計算等需求。

  • 服務在多地區部署，日誌按地區採集，將不同地區的日誌跨地區（加速）彙集到中心地區，實現全球日誌集中化管理需求。

• 資料清洗與過濾：清理無效的日誌條目、或者用不到的日誌欄位，過濾出關鍵的資訊寫入下遊Logstore，用於重點分析。

• 資料脫敏：對資料中包含的密碼、手機號、地址等敏感資訊進行脫敏。

功能優勢

• Log ServiceSPL文法，統一採集、查詢、消費處理的文法，無需額外學習成本。

• 資料加工（新版）SPL編寫過程支援按行調試和代碼提示，接近IDE編碼體驗。

• 即時處理、資料秒級可見、計算能力擴充、按量Auto Scaling、高吞吐能力。

• 面向日誌分析情境，提供開箱即用的資料處理指令和SQL函數。

• 提供即時觀測指標和儀錶盤，支援基於運行指標做自訂監控。

• 全託管、免營運，與阿里雲巨量資料產品、開源生態整合。

費用說明

• 若Logstore的計費模式為按寫入資料量計費時，資料加工（新版）服務不產生費用，僅從Log Service公網網域名稱所在介面拉取或者寫入資料時，會產生外網讀取流量（按照壓縮後的資料量計算）。具體內容，可參見按寫入資料量計費模式計費項目。

• 若Logstore的計費模式為按使用功能計費時，資料加工（新版）服務會消耗機器與網路資源產生相應費用。更多資訊，請參見按使用功能計費模式計費項目。