Simple Log Service：什麼是Logtail

採集流程

監聽日誌

在伺服器上安裝Logtail及在Log Service控制台上建立Logtail採集配置後，Log Service會即時下發Logtail採集配置到Logtail，Logtail根據Logtail採集配置開始監聽檔案。Logtail根據Logtail採集配置中的日誌路徑和最大監控目錄深度，逐層掃描符合規則的日誌目錄和檔案。

將Logtail採集配置應用到機器組後，對應伺服器上沒有發生修改事件的記錄檔會被判定為歷史記錄檔，Logtail監聽到歷史記錄檔，並不會採集。當記錄檔產生了修改事件，才會觸發採集流程，Logtail開始讀取檔案。如果您要採集歷史記錄檔，請參見匯入歷史記錄檔。

為保證採集日誌的時效性以及穩定性，Logtail會對待採集的目錄註冊事件監聽（Linux下使用Inotify）以及定期輪詢。

讀取日誌

Logtail監聽到記錄檔，並確認有更新後，開始讀取。

• 首次讀取記錄檔時，Log Service預設首次讀取大小為1024 KB。

  • 如果檔案小於1024 KB，則從檔案內容起始位置開始讀取。

  • 如果檔案大於1024 KB，則從距離檔案末尾1024 KB的位置開始讀取。

  說明

  Log Service支援自訂首次讀取大小。

  • 控制台方式：在Logtail配置中修改首次採集大小參數。具體操作，請參見進階配置。

  • API方式：在Logtail配置中修改tail_size_kb參數。具體操作，請參見advanced參數說明。

• 如果Logtail已讀取過該記錄檔，則從上次讀取的Checkpoint處繼續讀取。

• 讀取記錄檔時，每次最多可以讀取512 KB，因此每條日誌的大小請控制在512 KB以內，否則無法正常讀取。

處理日誌

Logtail讀取日誌後，對日誌內容進行分行、解析、設定時間欄位。

• 分行

  如果Logtail採集配置中指定了行首Regex，則Logtail根據行首Regex對每次讀取的日誌進行分行，切分成多條日誌；如果沒有指定行首Regex，則將一行日誌作為一條Tlog。

• 解析

  根據Logtail採集配置中配置的採集模式，對每條日誌內容進行解析。

  說明

  如果您的Regex比較複雜，可能會導致CPU佔用率過高，請使用合理高效的Regex。

  如果解析失敗，會根據Logtail採集配置中是否開啟丟棄解析失敗日誌的功能進行處理。

  • 開啟丟棄解析失敗日誌，則直接丟棄該日誌，並上報解析失敗的報錯資訊。

  • 關閉丟棄解析失敗日誌，則上傳解析失敗的原始日誌，其中Key為raw_log、Value為日誌內容。

• 設定日誌時間欄位

  • 如果未配置時間欄位，則日誌時間為當前解析日誌的時間。

  • 如果配置了時間欄位：

    • 日誌中記錄的時間距離目前時間12小時以內，則從解析的日誌欄位中提取時間。

    • 日誌中記錄的時間距離目前時間12小時以上，則丟棄該日誌並上傳錯誤資訊。

過濾日誌

處理日誌後，根據Logtail採集配置中的過濾器配置過濾日誌。

• 在Logtail採集配置中未設定過濾器配置，則不過濾日誌，執行下一個步驟。

• Logtail採集配置已設定過濾器配置，則對每條日誌中的所有欄位進行遍曆並驗證。

  只有符合過濾器配置的日誌被採集。

彙總日誌

為降低網路請求次數，在Tlog、過濾完畢後，會在Logtail內部緩衝一段時間後進行彙總打包，再發送到Log Service。快取資料後，觸發打包日誌發送到Log Service的條件如下：

• 日誌彙總時間超過3秒。

• 日誌彙總條數超過4000條。

• 日誌彙總總大小超過512 KB。

發送日誌

Logtail將採集到的日誌彙總並發送到Log Service。如果資料發送失敗，Logtail自動根據錯誤資訊決定重試或放棄發送。

功能優勢

• 基於記錄檔，無侵入式採集日誌。您無需修改應用程式代碼，且採集日誌不會影響您的應用程式運行。

• 除採集文本日誌外，還支援採集binlog、http資料、容器日誌等。

• 支援Docker、Kubernetes叢集等容器叢集的資料擷取。

  • 阿里雲Container ServiceKubernetes：請參見K8s容器日誌提取。

  • 自建Kubernetes：請參見K8s容器日誌提取。

  • 自建Docker叢集：請參見採集Docker容器檔案日誌。

• 穩定處理日誌採集過程中的各種異常。當遇到網路異常、服務端異常等問題時會採取主動重試、本機快取資料等措施保障資料安全。

• 基於Log Service的集中管理能力。安裝Logtail後，只需要在Log Service上配置機器組、Logtail採集配置等資訊即可。

• 完善的自我保護機制。為保證運行在伺服器上的Logtail不會明顯影響您伺服器上其他服務的效能，Logtail在CPU、記憶體及網路使用方面都做了嚴格的限制和保護機制。

配置流程

1. 安裝Logtail

   如果ECS執行個體且與Simple Log ServiceProject屬於同一帳號且在同一地區，請參見安裝Logtail（ECS執行個體）。其他情況，請參見安裝Logtail（Linux系統）、安裝Logtail（Windows系統）。

2. 配置使用者標識

   在採集非本帳號ECS、自建IDC或其他雲廠商伺服器日誌時需要配置使用者標識。

3. 建立機器組

   Simple Log ServiceProject支援使用IP地址或使用者自訂標識建立機器組。

4. 建立Logtail採集配置

   您可以通過Log Service控制台設定精靈完成操作。具體操作，請參見採集文本日誌和採集容器日誌。

完成上述操作後，Logtail開始採集您伺服器上的日誌，並發送到對應的Logstore中。您可以通過Log Service控制台、API、SDK或CLI查詢日誌。

核心概念

• 機器組：一個機器組包含一台或多台待採集同類日誌的伺服器。將Logtail採集配置應用到機器組後，Log Service會根據Logtail採集配置採集機器組內所有伺服器上的日誌。

  Log Service通過機器組管理所有需要通過Logtail採集日誌的伺服器，支援通過IP地址或者使用者自訂標識的方式定義機器組。您可以通過Log Service控制台管理機器組（包括建立、刪除機器組，添加、移除機器等操作）。 更多資訊，請參見什麼是機器組。

• Logtail：Log Service提供的日誌採集Agent，運行在待採集日誌的伺服器上。

  • Linux作業系統：Logtail安裝在/usr/local/ilogtail目錄下，啟動兩個以ilogtail開頭的獨立進程，一個為採集進程，另外一個為守護進程，程式作業記錄儲存在/usr/local/ilogtail/ilogtail.LOG檔案中。更多資訊，請參見安裝Logtail（Linux系統）。

  • Windows作業系統

    • Logtail（32位程式）

      • 安裝在Windows 32位作業系統中時，對應的安裝目錄為C:\Program Files\Alibaba\Logtail。

      • 安裝在Windows 64位作業系統中時，對應的安裝目錄為C:\Program Files (x86)\Alibaba\Logtail。

        說明

        Windows 64位作業系統支援運行32/64位應用程式，但是出於相容性考慮，在Windows 64位作業系統上，Windows會使用單獨的x86目錄來存放32位應用程式。

    • Logtail（64位程式）

      只支援安裝在Windows 64位作業系統中，對應的安裝目錄為C:\Program Files\Alibaba\Logtail。

    您可以通過控制台 > 管理工具 > 服務，查看LogtailDaemon服務（Logtail 1.0.0.0及以上版本）或LogtailWorker服務（Logtail 0.x.x.x版本），確認Logtail的運行狀態。程式作業記錄儲存在安裝目錄下的 ilogtail.LOG檔案中。更多資訊，請參見安裝Logtail（Windows系統）。

• Logtail配置：Logtail採集日誌的策略集合。通過在建立Logtail採集配置時設定資料來源、採集模式等參數，實現定製化的採集策略。Logtail採集配置定義了如何在伺服器上採集同類日誌並解析、發送到指定的Log ServiceLogstore上。

準系統

資料擷取可靠性

Logtail在採集日誌時，定期將採集的點位（CheckPoint）資訊儲存到本地，如果遇到伺服器意外關閉、進程崩潰等異常情況時，Logtail重啟後會從上一次記錄的位置開始採集資料，儘可能保證資料不丟失。Logtail會根據啟動參數設定檔中配置進行工作，如果資源佔用超過限定值5分鐘以上，則Logtail會強制重啟。重啟後可能會產生一定的資料重複。

相關文檔

• Logtail診斷

• Logtail常見問題

• 資料擷取常見問題

• Logtail限制說明