Simple Log Service：通過DaemonSet方式採集Kubernetes容器文本日誌

控制台

1. 登入Log Service控制台。

2. 單擊控制台右側的快速接入資料，在接入資料地區單擊Kubernetes-檔案卡片。

   

3. 選擇目標Project和Logstore，單擊下一步。選擇您在安裝Logtail組件時所使用的Project。Logstore為您自訂建立的Logstore。

4. 在機器組配置頁面。

   1. 根據實際情境，單擊以下頁簽：

      • K8s情境 > ACK Daemonset

      • K8s情境 > 自建叢集Daemonset

        重要

        不同頁簽的後續配置步驟不同，請根據實際需求正確選擇。

   2. 確認目標機器組已在應用機器組列表中，然後單擊下一步。在ACK中安裝Logtail組件後，Simple Log Service自動建立名為k8s-group-${your_k8s_cluster_id}的機器組，您可以直接使用該機器組。

      重要

      • 如果需要建立機器組，請單擊建立機器組，按照右側面板進行建立。更多資訊，請參見通過控制台嚮導建立應用並配置Log Service。

      • 如果機器組心跳為FAIL，您可單擊自動重試。如果還未解決，請參見Logtail機器組無心跳進行排查。

5. 建立Logtail採集配置，單擊下一步創Logtail採集配置，Log Service開始採集日誌。

   說明

   Logtail採集配置生效時間最長需要3分鐘，請耐心等待。

   全域配置

   配置項	說明
   配置名稱	Logtail配置名稱，在其所屬Project內必須唯一。建立Logtail配置成功後，無法修改其名稱。
   日誌主題類型	選擇日誌主題（Topic）的產生方式。更多資訊，請參見日誌主題。 機器組Topic：設定為機器組的Topic屬性，用於明確區分不同機器組產生的日誌。 檔案路徑提取：設定為檔案路徑正則，則需要設定自訂正則，用Regex從路徑裡提取一部分內容作為Topic。用於區分不同源產生的日誌。 自訂：自訂日誌主題。
   進階參數	其它可選的與配置全域相關的進階功能參數，請參見建立Logtail流水線配置。

   輸入配置

   參數名稱	說明
   Logtail部署模式	Logtail部署模式，選擇DaemonSet。
   檔案路徑類型	選擇待採集的檔案路徑是容器內路徑或宿主機路徑。對於通過hostPath方式掛載資料卷的容器，如果您希望直接採集其在宿主機上映射的記錄檔，請選擇宿主機路徑，其餘情況請選擇容器內路徑。
   檔案路徑	如果目標容器節點是Linux系統，則日誌路徑必須以正斜線（/）開頭，例如/apsara/nuwa/**/app.Log。 如果目標容器節點是Windows系統，則日誌路徑必須以盤符開頭，例如C:\Program Files\Intel\**\*.Log。 目錄名和檔案名稱均支援完整模式和萬用字元模式，檔案名稱規則請參見Wildcard matching。其中，日誌路徑萬用字元只支援星號（*）和半形問號（?）。 記錄檔尋找模式為多層目錄匹配，即合格指定目錄（包含所有層級的目錄）下所有合格檔案都會被尋找到。例如： /apsara/nuwa/**/*.log表示/apsara/nuwa目錄（包含該目錄的遞迴子目錄）中尾碼名為.log的檔案。 /var/logs/app_*/**/*.log表示/var/logs目錄下所有符合app_*格式的目錄（包含該目錄的遞迴子目錄）中尾碼名為.log的檔案。 /var/log/nginx/**/access*表示/var/log/nginx目錄（包含該目錄的遞迴子目錄）中以access開頭的檔案。
   最大目錄監控深度	設定日誌目錄被監控的最大深度，即檔案路徑中萬用字元**匹配的最大目錄深度。0代表只監控本層目錄。 警告 請按最小需要原則配置目錄監控深度，過大的目錄深度導致Logtail佔用更多的監控資源，造成日誌採集延遲。
   啟用容器元資訊預覽	開啟啟用容器元資訊預覽後，您可以在建立Logtail配置後，查看容器元資訊，包括匹配容器資訊和全量容器資訊。
   容器過濾	Logtail版本 Logtail 1.0.34以下版本，只支援通過環境變數、容器Label進行容器過濾。 Logtail 1.0.34及以上版本，推薦使用Kubernetes層級的資訊（Pod名稱、Namespace、容器名稱、容器Label等）進行容器過濾。 過濾條件說明 重要 容器Label為Docker inspect中的Label，不是Kubernetes中的Label。如何擷取，請參見擷取容器Label。 環境變數為容器啟動中配置的環境變數資訊。如何擷取，請參見擷取容器環境變數。 Kubernetes中的Namespace和容器名稱會映射到容器Label中，分別為io.kubernetes.pod.namespace和io.kubernetes.container.name，推薦使用這兩個容器Label進行容器過濾。例如，某Pod所屬的命名空間為backend-prod，容器名為worker-server，如果您要採集包含該容器的日誌，可以設定容器Label白名單為io.kubernetes.pod.namespace : backend-prod或io.kubernetes.container.name : worker-server。 如果以上兩個容器Label不滿足過濾需求，請使用環境變數的黑白名單進行容器過濾。 K8s Pod名稱正則匹配 通過Pod名稱指定待採集的容器，支援正則匹配。例如設定為^(nginx-log-demo.*)$，表示匹配以nginx-log-demo開頭的Pod下的所有容器。 K8s Namespace正則匹配 通過Namespace名稱指定採集的容器，支援正則匹配。例如設定為^(default|nginx)$，表示匹配nginx命名空間、default命名空間下的所有容器。 K8s容器名稱正則匹配 通過容器名稱指定待採集的容器（Kubernetes容器名稱是定義在spec.containers中），支援正則匹配。例如設定為^(container-test)$，表示匹配所有名為container-test的容器。 容器label白名單 通過容器Label白名單指定待採集的容器。 重要 請勿設定相同的標籤名，如果重名只生效一個。 如果設定了標籤名但不設定標籤值，則容器Label中包含該標籤名的容器都匹配。 如果設定了標籤名和標籤值，則容器Label中包含該標籤名:標籤值的容器才匹配。 標籤值預設為字串匹配，即只有標籤值和容器Label的值完全相同才會匹配。如果該值以^開頭並且以$結尾，則為正則匹配。例如設定標籤名為app，設定標籤值為^(test1|test2)$，表示匹配容器Label中包含app:test1、app:test2的容器。 多個白名單之間為或關係，即只要容器Label滿足任一白名單即可被匹配。 容器label黑名單 通過容器Label黑名單排除不採集的容器。 重要 請勿設定相同的標籤名，如果重名只生效一個。 如果設定了標籤名但不設定標籤值，則容器Label中包含該標籤名的容器都被排除。 如果設定了標籤名和標籤值，則容器Label中包含該標籤名:標籤值的容器才會被排除。 標籤值預設為字串匹配，即只有標籤值和容器Label的值完全相同才會被排除。如果該值以^開頭並且以$結尾，則為正則匹配。例如設定標籤名為app，設定標籤值為^(test1|test2)$，表示排除容器Label中包含app:test1、app:test2的容器。 多個黑名單之間為或關係，即只要容器Label滿足任一黑名單對即可被排除。 環境變數白名單 通過環境變數白名單指定待採集的容器。 如果設定了環境變數名但不設定環境變數值，則容器環境變數中包含該環境變數名的容器都匹配。 如果設定了環境變數名和環境變數值，則容器環境變數中包含該環境變數名和值的容器才匹配。 環境變數值預設為字串匹配，即只有環境變數值和環境變數的值完全相同才會匹配。如果該值以^開頭並且以$結尾，則為正則匹配，例如：設定環境變數名為NGINX_SERVICE_PORT，設定環境變數值為^(80|6379)$，表示可匹配服務連接埠為80、6379的容器。 多個白名單之間為或關係，即只要容器的環境變數滿足任一索引值對即可被匹配。 環境變數黑名單 通過環境變數黑名單排除不採集的容器。 如果設定了環境變數名但不設定環境變數值，則容器環境變數中包含該環境變數名的容器的日誌都將被排除。 如果設定了環境變數名和環境變數值，則容器環境變數中包含該環境變數名和值的容器才會被排除。 環境變數值預設為字串匹配，即只有環境變數值和環境變數的值完全相同才會被排除。如果該值以^開頭並且以$結尾，則為正則匹配，例如：設定環境變數名為NGINX_SERVICE_PORT，設定環境變數值為^(80|6379)$，表示可排除服務連接埠為80、6379的容器。 多個黑名單之間為或關係，即只要容器的環境變數滿足任一索引值對即可被排除。 K8s Pod標籤白名單 通過Kubernetes Pod標籤白名單指定待採集的容器。 如果設定了標籤名但不設定標籤值，則Pod標籤中包含該標籤名的容器都匹配。 如果設定了標籤和標籤值，則Pod標籤中包含該標籤名:標籤值的容器才匹配。 標籤值預設為字串匹配，即只有標籤值和Pod標籤的值完全相同才會匹配。如果該值以^開頭並且以$結尾，則為正則匹配，例如：設定標籤名為environment，設定標籤值為^(dev|pre)$，表示匹配Pod標籤中包含environment:dev、environment:pre的容器。 多個白名單之間為或關係，即只要Pod標籤滿足任一索引值對即可。 K8s Pod標籤黑名單 通過Kubernetes Pod標籤黑名單排除不採集的容器。 如果設定了標籤名但不設定標籤值，則Pod標籤中包含該標籤名的容器都將被排除。 如果設定了標籤和標籤值，則Pod標籤中包含該標籤名和標籤值的容器才會被排除。 標籤值預設為字串匹配，即只有標籤值和Pod標籤的值完全相同才會被排除。如果該值以^開頭並且以$結尾，則為正則匹配，例如：設定標籤名為environment，設定標籤值為^(dev|pre)$，表示排除Pod標籤中包含environment:dev、environment:pre的容器。 多個黑名單之間為或關係，即只要Pod標籤滿足任一索引值對即可被排除。
   日誌標籤富化	環境變數相關tag和Pod標籤相關tag。
   檔案編碼	記錄檔的編碼格式。
   首次採集大小	配置首次生效時，匹配檔案的起始採集位置距離檔案結尾的大小。首次採集大小設定值為1024 KB。 首次採集時，如果檔案小於1024 KB，則從檔案內容起始位置開始採集。 首次採集時，如果檔案大於1024 KB，則從距離檔案末尾1024 KB的位置開始採集。 您可以通過此處修改首次採集大小，取值範圍為0~10485760，單位為KB。
   採集黑名單	開啟採集黑名單開關後，可進行黑名單配置，即可在採集時忽略指定的目錄或檔案。支援完整匹配和萬用字元匹配目錄和檔案名稱。其中，萬用字元只支援星號（*）和半形問號（?）。 重要 如果您在配置日誌路徑時使用了萬用字元，但又需要過濾掉其中部分路徑，則需在採集黑名單中填寫對應的完整路徑來保證黑名單配置生效。 例如您配置日誌路徑為/home/admin/app*/log/*.log，但要過濾/home/admin/app1*目錄下的所有子目錄，則需選擇目錄黑名單，配置目錄為/home/admin/app1*/** 。如果配置為/home/admin/app1*，黑名單不會生效。 匹配黑名單過程存在計算開銷，建議黑名單條目數控制在10條內。 目錄路徑不能以正斜線（/）結尾，例如將設定路徑為/home/admin/dir1/，目錄黑名單不會生效。 支援按照檔案路徑黑名單、檔案黑名單、目錄黑名單設定，詳細說明如下： 檔案路徑黑名單 選擇檔案路徑黑名單，配置路徑為/home/admin/private*.log，則表示在採集時忽略/home/admin/目錄下所有以private開頭，以.log結尾的檔案。 選擇檔案路徑黑名單，配置路徑為/home/admin/private*/*_inner.log，則表示在採集時忽略/home/admin/目錄下以private開頭的目錄內，以_inner.log結尾的檔案。例如/home/admin/private/app_inner.log檔案被忽略，/home/admin/private/app.log檔案被採集。 檔案黑名單 選擇檔案黑名單，設定檔名為app_inner.log，則表示採集時忽略所有名為app_inner.log的檔案。 目錄黑名單 選擇目錄黑名單，配置目錄為/home/admin/dir1，則表示在採集時忽略/home/admin/dir1目錄下的所有檔案。 選擇目錄黑名單，配置目錄為/home/admin/dir*，則表示在採集時忽略/home/admin/目錄下所有以dir開頭的子目錄下的檔案。 選擇目錄黑名單，配置目錄為/home/admin/*/dir，則表示在採集時忽略/home/admin/目錄下二級目錄名為dir的子目錄下的所有檔案。例如/home/admin/a/dir目錄下的檔案被忽略，/home/admin/a/b/dir目錄下的檔案被採集。
   允許檔案多次採集	預設情況下，一個記錄檔只能匹配一個Logtail配置。如果檔案中的日誌需要被採集多份，需開啟允許檔案多次採集開關。
   進階參數	Logtail配置的部分參數需要手動輸入，請參見建立Logtail流水線配置。

   處理配置

   配置項	說明
   日誌範例	待採集日誌的範例，請務必使用實際情境的日誌。日誌範例可協助您配置Tlog相關參數，降低配置難度。支援添加多條範例，總長度不超過1500個字元。 [2023-10-01T10:30:01,000] [INFO] java.lang.Exception: exception happened at TestPrintStackTrace.f(TestPrintStackTrace.java:3) at TestPrintStackTrace.g(TestPrintStackTrace.java:7) at TestPrintStackTrace.main(TestPrintStackTrace.java:16)
   多行模式	多行日誌的類型：多行日誌是指每條日誌分布在連續的多行中，需要從日誌內容中區分出每一條日誌。 自訂：通過行首Regex區分每一條日誌。 多行JSON：每個JSON對象被展開為多行，例如： { "name": "John Doe", "age": 30, "address": { "city": "New York", "country": "USA" } } 切分失敗處理方式： Exception in thread "main" java.lang.NullPointerException at com.example.MyClass.methodA(MyClass.java:12) at com.example.MyClass.methodB(MyClass.java:34) at com.example.MyClass.main(MyClass.java:½0) 對於以上日誌內容，如果Log Service切分失敗： 丟棄：直接丟棄這段日誌。 保留單行：將每行日誌文本單獨保留為一條日誌，保留為一共四條日誌。
   處理模式	處理外掛程式組合，包括原生外掛程式和拓展外掛程式。有關處理外掛程式的更多資訊，請參見處理外掛程式概述。 重要 處理外掛程式的使用限制，請以控制台頁面的提示為準。 低於2.0版本的Logtail： 不支援同時添加原生外掛程式和擴充外掛程式。 原生外掛程式僅可用於採集文本日誌。使用原生外掛程式時，須符合如下要求： 第一個處理外掛程式必須為正則解析外掛程式、分隔字元模式解析外掛程式、JSON解析外掛程式、Nginx模式解析外掛程式、Apache模式解析外掛程式或IIS模式解析外掛程式。 第一個處理外掛程式之後僅允許存在1個時間解析處理外掛程式，1個過濾外掛程式和多個脫敏外掛程式。 擴充處理外掛程式只能出現在所有的原生處理外掛程式之後，不能出現在任何原生處理外掛程式之前。 2.0版本的Logtail： 原生處理外掛程式可任意組合。 原生處理外掛程式和擴充處理外掛程式可同時使用，但擴充處理外掛程式只能出現在所有的原生處理外掛程式之後。

6. 建立索引和預覽資料，然後單擊下一步。Log Service預設開啟全文索引。您也可以根據採集到的日誌，手動建立欄位索引，或者單擊自動產生索引，Log Service將自動產生欄位索引。更多資訊，請參見建立索引。

   重要

   如果需要查詢日誌中的所有欄位，建議使用全文索引。如果只需查詢部分欄位、建議使用欄位索引，減少索引流量。如果需要對欄位進行分析（SELECT語句），必須建立欄位索引。

7. 單擊查詢日誌，系統將跳轉至Logstore查詢分析頁面。

   您需要等待1分鐘左右，待索引生效後，才能在原始日誌頁簽中，查看已採集到的日誌。更多資訊，請參見查詢和分析日誌。

（推薦）CRD-AliyunPipelineConfig

建立Logtail採集配置

您只需要建立AliyunPipelineConfig CR即可建立iLogtail採集配置，建立完成後自動生效。對於通過CR建立的iLogtail採集配置，其修改只能通過更新相應的CR來實現。

1. 擷取叢集KubeConfig並通過kubectl工具串連叢集。

2. 執行如下命令建立一個YAML檔案。

   cube.yaml為檔案名稱，請根據實際情況替換。

   vim cube.yaml

3. 在YAML檔案輸入如下指令碼，並根據實際情況設定其中的參數。

   重要

   • 請確保configName欄位值在安裝Logtail組件的Project中唯一。

   • 每個iLogtail採集配置必須單獨設定一個對應的CR，如果多個CR關聯同一個Logtail配置，後配置的CR將不會生效。

   • AliyunPipelineConfig的參數，請參見【推薦】使用AliyunPipelineConfig管理採集配置。本文的iLogtail採集配置範例包含基礎的文本日誌採集功能，參數說明參見CreateLogtailPipelineConfig - 建立Logtail流水線配置。

   • 請確保config.flushers.Logstore參數配置的Logstore已存在，可以通過配置spec.logstore參數自動建立Logstore。

   採集所有容器內的單行文本日誌

   建立名為example-k8s-file的iLogtail採集配置，以單行文字模式採集叢集內所有容器內的/data/logs/app_1路徑下的test.LOG檔案，直接發送到名稱為k8s-file的Logstore，該Logstore屬於名稱為k8s-log-test的Project。

   apiVersion: telemetry.alibabacloud.com/v1alpha1
   # 建立一個 ClusterAliyunPipelineConfig
   kind: ClusterAliyunPipelineConfig
   metadata:
     # 設定資源名，在當前Kubernetes叢集內唯一。該名稱也是建立出的iLogtail採集配置名
     name: example-k8s-file
   spec:
     # 指定目標project
     project:
       name: k8s-log-test
     # 建立用於儲存日誌的 Logstore
     logstores:
       - name: k8s-file
     # 定義iLogtail採集配置
     config:
       # 定義輸入外掛程式
       inputs:
         # 使用input_file外掛程式採集容器內文本日誌
         - Type: input_file
           # 容器內的檔案路徑
           FilePaths:
             - /data/logs/app_1/**/test.LOG
           # 啟用容器發現功能。
           EnableContainerDiscovery: true
       # 定義輸出外掛程式
       flushers:
         # 使用flusher_sls外掛程式輸出到指定Logstore。
         - Type: flusher_sls
           # 需要確保該 Logstore 存在
           Logstore: k8s-file
           # 需要確保 endpoint 正確
           Endpoint: cn-hangzhou.log.aliyuncs.com
           Region: cn-hangzhou
           TelemetryType: logs

   採集指定容器內的單行文本日誌

   建立名為example-k8s-file的iLogtail採集配置，對於叢集內名稱包含app的所有容器，以單行文字模式採集/data/logs/app_1路徑下的test.LOG檔案，

   直接發送到名稱為k8s-file的Logstore，該Logstore屬於名稱為k8s-log-test的Project。

   apiVersion: telemetry.alibabacloud.com/v1alpha1
   # 建立一個 ClusterAliyunPipelineConfig
   kind: ClusterAliyunPipelineConfig
   metadata:
     # 設定資源名，在當前Kubernetes叢集內唯一。該名稱也是建立出的iLogtail採集配置名
     name: example-k8s-file
   spec:
     # 指定目標project
     project:
       name: k8s-log-test
     # 建立用於儲存日誌的 Logstore
     logstores:
       - name: k8s-file
     # 定義iLogtail採集配置
     config:
       # 定義輸入外掛程式
       inputs:
         # 使用input_file外掛程式採集容器內文本日誌
         - Type: input_file
           # 容器內的檔案路徑
           FilePaths:
             - /data/logs/app_1/**/test.LOG
           # 啟用容器發現功能。
           EnableContainerDiscovery: true
           # 添加容器資訊過濾條件，多個選項之間為“且”的關係。
           ContainerFilters:
             # 指定待採集容器所在 Pod 所屬的命名空間，支援正則匹配。
             K8sNamespaceRegex: default
             # 指定待採集容器的名稱，支援正則匹配。
             K8sContainerRegex: ^(.*app.*)$
       # 定義輸出外掛程式
       flushers:
         # 使用flusher_sls外掛程式輸出到指定Logstore。
         - Type: flusher_sls
           # 需要確保該 Logstore 存在
           Logstore: k8s-file
           # 需要確保 endpoint 正確
           Endpoint: cn-hangzhou.log.aliyuncs.com
           Region: cn-hangzhou
           TelemetryType: logs

   採集所有容器內的多行文本日誌並正則解析

   建立名為example-k8s-file的iLogtail採集配置，以多行文字模式採集叢集內所有容器內的/data/logs/app_1路徑下的test.LOG檔案，對採集到的資料進行JSON解析，直接發送到名稱為k8s-file的Logstore，該Logstore屬於名稱為k8s-log-test的Project。

   下面範例中的日誌原文通過input_file外掛程式讀取後格式為{"content": "2024-06-19 16:35:00 INFO test log\nline-1\nline-2\nend"}，會被正則解析外掛程式解析為{"time": "2024-06-19 16:35:00", "level": "INFO", "msg": "test log\nline-1\nline-2\nend"}

   apiVersion: telemetry.alibabacloud.com/v1alpha1
   # 建立一個 ClusterAliyunPipelineConfig
   kind: ClusterAliyunPipelineConfig
   metadata:
     # 設定資源名，在當前Kubernetes叢集內唯一。該名稱也是建立出的iLogtail採集配置名
     name: example-k8s-file
   spec:
     # 指定目標project
     project:
       name: k8s-log-test
     # 建立用於儲存日誌的 Logstore
     logstores:
       - name: k8s-file
     # 定義iLogtail採集配置
     config:
       # 日誌範例（可不填寫）
       sample: |
         2024-06-19 16:35:00 INFO test log
         line-1
         line-2
         end
       # 定義輸入外掛程式
       inputs:
         # 使用input_file外掛程式採集容器內多行文本日誌
         - Type: input_file
           # 容器內的檔案路徑
           FilePaths:
             - /data/logs/app_1/**/test.LOG
           # 啟用容器發現功能。
           EnableContainerDiscovery: true
           # 開啟多行能力
           Multiline:
             # 選擇自訂行首Regex模式
             Mode: custom
             # 配置行首Regex
             StartPattern: \d+-\d+-\d+.*
       # 定義處理外掛程式
       processors:
         # 使用正則解析外掛程式解析日誌
         - Type: processor_parse_regex_native
           # 源欄位名
           SourceKey: content
           # 解析用的Regex，用擷取的群組"()"捕獲待提取的欄位
           Regex: (\d+-\d+-\d+\s*\d+:\d+:\d+)\s*(\S+)\s*(.*)
           # 提取的欄位列表
           Keys: ["time", "level", "msg"]
       # 定義輸出外掛程式
       flushers:
         # 使用flusher_sls外掛程式輸出到指定Logstore。
         - Type: flusher_sls
           # 需要確保該 Logstore 存在
           Logstore: k8s-file
           # 需要確保 endpoint 正確
           Endpoint: cn-hangzhou.log.aliyuncs.com
           Region: cn-hangzhou
           TelemetryType: logs

4. 執行如下命令使iLogtail採集配置生效。iLogtail採集配置生效後，Logtail開始採集各個容器上的文本日誌，並發送到Log Service中。

   cube.yaml為檔案名稱，請根據實際情況替換。

   kubectl apply -f cube.yaml

   重要

   採集到日誌後，您需要先建立索引，才能在Logstore中查詢和分析日誌。具體操作，請參見建立索引。

CRD-AliyunLogConfig

您只需要建立AliyunLogConfig CR即可建立iLogtail採集配置，建立完成後自動生效。對於通過CR建立的iLogtail採集配置，其修改只能通過更新相應的CR來實現。

1. 擷取叢集KubeConfig並通過kubectl工具串連叢集。

2. 執行如下命令建立一個YAML檔案。

   cube.yaml為檔案名稱，請根據實際情況替換。

   vim cube.yaml

3. 在YAML檔案輸入如下指令碼，並根據實際情況設定其中的參數。

   重要

   • 請確保configName欄位值在安裝Logtail組件的Project中唯一。

   • 如果多個CR關聯同一個iLogtail採集配置，則刪除或修改任意一個CR均會影響到該iLogtail採集配置，導致其他關聯該iLogtail採集配置的CR狀態與Log Service中iLogtail採集配置的狀態不一致。

   • CR欄位的格式請參見使用AliyunLogConfig管理採集配置。本文的iLogtail採集配置範例包含基礎的文本日誌採集功能，具體參數參見CreateConfig - 建立Logtail採集配置。

   採集所有容器內的單行文本日誌

   建立名為example-k8s-file的iLogtail採集配置，以單行文字模式採集叢集內所有容器內的/data/logs/app_1路徑下的test.LOG檔案，直接發送到名稱為k8s-file的Logstore，該Logstore屬於名稱為k8s-log-test的Project。

   apiVersion: log.alibabacloud.com/v1alpha1
   kind: AliyunLogConfig
   metadata:
     # 設定資源名，在當前Kubernetes叢集內唯一。
     name: example-k8s-file
     namespace: kube-system
   spec:
     # 設定目標project名稱（可不填寫，預設為k8s-log-<your_cluster_id>）
     project: k8s-log-test
     # 設定Logstore名稱。如果您所指定的Logstore不存在，Log Service會自動建立。
     logstore: k8s-file
     # 設定iLogtail採集配置。
     logtailConfig:
       # 設定採集的資料來源類型。採集文本日誌時，需設定為file。
       inputType: file
       # 設定iLogtail採集配置的名稱。
       configName: example-k8s-file
       inputDetail:
         # 指定通過極簡模式採集文本日誌。
         logType: common_reg_log
         # 設定記錄檔所在路徑。
         logPath: /data/logs/app_1
         # 設定記錄檔的名稱。支援萬用字元星號（*）和半形問號（?），例如log_*.log。
         filePattern: test.LOG
         # 採集容器的文本日誌時，需設定dockerFile為true。
         dockerFile: true

4. 執行如下命令使iLogtail採集配置生效。iLogtail採集配置生效後，Logtail開始採集各個容器上的文本日誌，並發送到Log Service中。

   cube.yaml為檔案名稱，請根據實際情況替換。

   kubectl apply -f cube.yaml

   重要

   採集到日誌後，您需要先建立索引，才能在Logstore中查詢和分析日誌。具體操作，請參見建立索引。

控制台

1. 登入Log Service控制台。

2. 在Project列表地區，單擊目標Project。

   

3. 在日誌儲存 > 日誌庫頁簽中，單擊目標日誌庫前面的>，依次選擇資料接入 > Logtail配置。

4. 單擊目標Logtail採集配置，查看Logtail採集配置詳情。

（推薦）CRD-AliyunPipelineConfig

kubectl get clusteraliyunpipelineconfigs <config_name> -o yaml

apiVersion: telemetry.alibabacloud.com/v1alpha1
kind: ClusterAliyunPipelineConfig
metadata:
  finalizers:
    - finalizer.pipeline.alibabacloud.com
  name: example-k8s-file
# 預期的配置
spec:
  config:
    flushers:
      - Endpoint: cn-hangzhou.log.aliyuncs.com
        Logstore: k8s-file
        Region: cn-hangzhou
        TelemetryType: logs
        Type: flusher_sls
    inputs:
      - EnableContainerDiscovery: true
        FilePaths:
          - /data/logs/app_1/**/test.LOG
        Type: input_file
  logstores:
    - encryptConf: {}
      name: k8s-file
  project:
    name: k8s-log-clusterid
# CR的應用狀態
status:
  # CR 是否應用成功
  success: true
  # CR 當前的狀態資訊
  message: success
  # 當前 status 的更新時間
  lastUpdateTime: '2024-06-19T09:21:34.215702958Z'
  # 上次成功應用的配置資訊，該配置資訊為填充預設值後實際生效的配置
  lastAppliedConfig:
    # 上次成功應用的時間
    appliedTime: '2024-06-19T09:21:34.215702958Z'
    # 上次成功應用的配置詳情
    config:
      configTags:
        sls.crd.cluster: e2e-cluster-id
        sls.crd.kind: ClusterAliyunPipelineConfig
        sls.logtail.channel: CRD
      flushers:
        - Endpoint: cn-hangzhou.log.aliyuncs.com
          Logstore: k8s-file
          Region: cn-hangzhou
          TelemetryType: logs
          Type: flusher_sls
      inputs:
        - EnableContainerDiscovery: true
          FilePaths:
            - /data/logs/app_1/**/test.LOG
          Type: input_file
      name: example-k8s-file
    logstores:
      - appendMeta: true
        autoSplit: true
        encryptConf: {}
        maxSplitShard: 64
        name: k8s-file
        shardCount: 2
        ttl: 30
    machineGroups:
      - name: k8s-group-clusterid
    project:
      description: 'k8s log project, created by alibaba cloud log controller'
      endpoint: cn-hangzhou.log.aliyuncs.com
      name: k8s-log-clusterid

CRD-AliyunLogConfig