採集阿里雲ACK叢集標準輸出-舊版（DaemonSet方式部署Logtail）

您只需要建立AliyunPipelineConfig自訂資源即可建立Logtail採集配置，資源建立完成後自動生效。

1. 登入Container Service管理主控台。

2. 在左側導覽列中，單擊叢集列表。

3. 在叢集列表頁面中，單擊目的地組群操作列下的更多，然後單擊管理叢集。

4. 建立名為example-k8s-file.yaml的檔案。

   您可用採集配置產生器產生目標情境YAML指令碼，或參考樣本手動編寫。

   以下樣本YAML檔案以多行文字模式採集default命名空間下，標籤為app: ^(.*test.*)$的Pod中的標準輸出，並將其發送到名為k8s-log-test的Project中的名為k8s-file（自動建立）的Logstore。您需根據實際情況修改YAML中的以下參數：

   1. project，樣本：k8s-log-test。

      登入Log Service控制台，確定您安裝的Logtail產生的Project的名稱，通常格式為k8s-log-<YOUR_CLUSTER_ID>。

   2. IncludeK8sLabel，樣本：app: ^(.*test.*)$。用於篩選目標Pod的標籤，當前條件指定標籤鍵為app，值中包含test的Pod會被採集。

      說明

      如果需要採集叢集中名稱包含test的所有Pod，可以將IncludeK8sLabel替換為K8sContainerRegex，並使用萬用字元配置值，如：K8sContainerRegex: ^(.test.)$。

   3. Endpoint和Region，樣本：cn-hangzhou.log.aliyuncs.com和cn-hangzhou。

   有關YAML檔案中config項的詳情，包括支援的輸入、輸出、處理外掛程式類型和容器過濾方式，請參見PipelineConfig。完整的YAML參數詳情請參見CR參數說明。

   apiVersion: telemetry.alibabacloud.com/v1alpha1
   # 建立一個 ClusterAliyunPipelineConfig
   kind: ClusterAliyunPipelineConfig
   metadata:
     # 設定資源名，在當前Kubernetes叢集內唯一。該名稱也是建立出的Logtail採集配置名。如果名稱重複則不會生效。
     name: example-k8s-file
   spec:
     # 指定目標project
     project:
       name: k8s-log-test
     # 建立用於儲存日誌的 Logstore
     logstores:
       - name: k8s-stdout
     # 定義Logtail採集配置
     config:
       # 日誌範例（可不填寫）
       sample: |
         2024-06-19 16:35:00 INFO test log
         line-1
         line-2
         end
       # 定義輸入外掛程式
       inputs:
             # 使用service_docker_stdout外掛程式採集容器內文本日誌
         - Type: service_docker_stdout
           Stdout: true
           Stderr: true
           # 配置容器資訊過濾條件，多個選項之間為“且”的關係。
           # 指定待採集容器所在 Pod 所屬的命名空間，支援正則匹配。
           K8sNamespaceRegex: "^(default)$"
           # 啟用容器中繼資料預覽
           CollectContainersFlag: true
           # 採集Pod標籤合格容器。多個條目之間為或的關係
           IncludeK8sLabel:
             app: ^(.*test.*)$
           # 配置多行切分配置，單行日誌採集無效配置
           # 配置行首Regex
           BeginLineRegex: \d+-\d+-\d+.*
       # 定義輸出外掛程式
       flushers:
         # 使用flusher_sls外掛程式輸出到指定Logstore。
         - Type: flusher_sls
           # 需要確保該 Logstore 存在
           Logstore: k8s-stdout
           # 需要確保 endpoint 正確
           Endpoint: cn-hangzhou.log.aliyuncs.com
           Region: cn-hangzhou
           TelemetryType: logs

5. 執行kubectl apply -f example.yaml，其中example.yaml替換為您建立的 YAML 檔案名稱，Logtail開始採集容器內的標準輸出，並發送到Log Service中。

您只需要建立AliyunLogConfig自訂資源即可建立Logtail採集配置，建立完成後自動生效。

1. 登入Container Service管理主控台。

2. 在左側導覽列中，單擊叢集列表。

3. 在叢集列表頁面中，單擊目的地組群操作列下的更多，然後單擊管理叢集。

4. 建立名為example-k8s-file.yaml的檔案。

   該YAML指令碼將建立名為simple-stdout-example的Logtail採集配置，並對叢集內名稱開頭為app的所有容器，以多行模式採集標準輸出，發送到名為k8s-log-<your_cluster_id>的Project中的名為k8s-stdout的Logstore。

   有關YAML檔案中的logtailConfig項提供的Logtail的詳情，如支援的輸入，輸出，處理外掛程式類型與容器過濾方式等，請參見AliyunLogConfigDetail，完整的YAML參數詳情請參見CR參數說明。

   # 標準輸出配置
   apiVersion: log.alibabacloud.com/v1alpha1
   kind: AliyunLogConfig
   metadata:
     # 設定資源名，在當前Kubernetes叢集內唯一。
     name: simple-stdout-example
   spec:
     # 設定目標project名稱（可不填寫，預設為k8s-log-<your_cluster_id>）
     # project: k8s-log-test
     # 設定Logstore名稱。如果您所指定的Logstore不存在，Log Service會自動建立。
     logstore: k8s-stdout
     # 設定Logtail採集配置。
     logtailConfig:
       # 設定採集的資料來源類型。採集標準輸出時，需設定為plugin。
       inputType: plugin
       # 設定Logtail採集配置的名稱，必須與資源名(metadata.name)相同。
       configName: simple-stdout-example
       inputDetail:
         plugin:
           inputs:
             - type: service_docker_stdout
               detail:
                 # 指定採集stdout和stderr。
                 Stdout: true
                 Stderr: true
                 # 指定待採集容器所在 Pod 所屬的命名空間，支援正則匹配。
                 K8sNamespaceRegex: "^(default)$"
                 # 指定待採集容器的名稱，支援正則匹配。
                 K8sContainerRegex: "^(app.*)$"
                 # 配置多行切分配置
                 # 配置行首Regex
                 BeginLineRegex: \d+-\d+-\d+.*
                 

5. 執行kubectl apply -f example.yaml，其中example.yaml替換為您建立的 YAML 檔案名稱，Logtail開始採集容器內的標準輸出，並發送到Log Service中。

1. 登入Log Service控制台。

2. 選擇Project列表中您在安裝Logtail組件時所使用的Project，如k8s-log-<your_cluster_id>。在Project頁面中點擊目標Logstore的Logtail配置，添加Logtail配置，並單擊Kubernetes-標準輸出-舊版的立即接入。

3. 由於上一步驟中已為ACK叢集安裝Logtail組件，請單擊使用現有機器組。

4. 在機器組配置頁面K8s情境的ACK Daemonset方式下勾選k8s-group-${your_k8s_cluster_id}機器組並單擊>添加到應用機器組中，點擊下一步。

5. 建立Logtail採集配置，按下文填寫必須配置後點擊下一步即可，Logtail採集配置生效大概需要1分鐘，請耐心等待。

   此處僅介紹必須配置，詳細配置請參見Logtail採集配置。

   • 全域配置

     在全域配置中輸入配置名稱。

     

6. 建立索引和預覽資料：Log Service預設開啟全文索引，此時查詢會索引日誌中所有欄位。您也可以根據採集到的日誌，手動建立欄位索引，或者單擊自動產生索引，Log Service將產生欄位索引，通過此索引針對特定欄位進行精確查詢，從而減少索引費用和提高查詢效率。更多資訊請參見建立索引。

1. 建立應用時配置Log Service。

   通過控制台配置

   通過YAML模板

   1. 登入Container Service管理主控台，在左側導覽列單擊叢集列表。

   2. 在叢集列表頁面，單擊目的地組群名稱，然後在左側導覽列，選擇工作負載 > 無狀態。

   3. 在無狀態頁面上方的命名空間下拉框中設定命名空間，然後單擊頁面右上方的使用鏡像建立。

   4. 在應用基本資料頁簽，設定應用程式名稱，單擊下一步，進入容器配置頁面。

      以下僅介紹Log Service相關的配置。關於其他的應用配置，請參見建立無狀態工作負載Deployment。

   5. 在日誌配置地區，配置日誌相關資訊。

      1. 設定採集配置。

         單擊+表徵圖建立新的採集配置，每個採集配置由日誌庫和容器內日誌路徑兩項構成。

         • 日誌庫：配置Logstore名稱，用於指定所採集的日誌儲存於該Logstore。如果該Logstore不存在，ACK將會自動為您在叢集關聯的Log ServiceProject下建立相應的Logstore。

           說明

           新建立的Logstore中的日誌預設儲存時間為90天。

         • 容器內日誌路徑：指定為stdout時，表示採集容器的標準輸出和標準錯誤輸出。

           

           每一項採集配置都會被自動建立為對應Logstore的一個採集配置，預設採用極簡模式（按行）進行採集。

      2. 設定自訂Tag。

         單擊+表徵圖建立新的自訂Tag，每一個自訂Tag都是一個索引值對，會拼接到所採集到的日誌中，您可以使用它來為容器的日誌資料進行標記，例如版本號碼。

         

   6. 當完成所有配置後，可單擊右上方的下一步進入後續流程。

      後續操作，可參見建立無狀態工作負載Deployment。

   1. 登入Container Service管理主控台，在左側導覽列選擇叢集列表。

   2. 在叢集列表頁面，單擊目的地組群名稱，然後在左側導覽列，選擇工作負載 > 無狀態。

   3. 在無狀態頁面上方的命名空間下拉框中設定命名空間，然後單擊頁面右上方的使用YAML建立資源。

   4. 配置YAML檔案。

      YAML模板的文法同Kubernetes文法，但是為了給容器指定採集配置，需要使用env來為容器增加採集配置和自訂Tag，並根據採集配置，建立對應的volumeMounts和volumes。以下是一個簡單的Pod樣本：

      apiVersion: apps/v1
      kind: Deployment
      metadata:
        annotations:
          deployment.kubernetes.io/revision: '1'
        labels:
          app: deployment-stdout
          cluster_label: CLUSTER-LABEL-A
        name: deployment-stdout
        namespace: default
      spec:
        progressDeadlineSeconds: 600
        replicas: 1
        revisionHistoryLimit: 10
        selector:
          matchLabels:
            app: deployment-stdout
        strategy:
          rollingUpdate:
            maxSurge: 25%
            maxUnavailable: 25%
          type: RollingUpdate
        template:
          metadata:
            labels:
              app: deployment-stdout
              cluster_label: CLUSTER-LABEL-A
          spec:
            containers:
              - args:
                  - >-
                    while true; do date '+%Y-%m-%d %H:%M:%S'; echo 1; echo 2; echo 3;
                    echo 4; echo 5; echo 6; echo 7; echo 8; echo 9; 
                    sleep 10; done
                command:
                  - /bin/sh
                  - '-c'
                  - '--'
                env:
                  - name: cluster_id
                    value: CLUSTER-A
                  - name: aliyun_logs_log-stdout
                    value: stdout
                image: 'mirrors-ssl.aliyuncs.com/busybox:latest'
                imagePullPolicy: IfNotPresent
                name: timestamp-test
                resources: {}
                terminationMessagePath: /dev/termination-log
                terminationMessagePolicy: File
            dnsPolicy: ClusterFirst
            restartPolicy: Always
            schedulerName: default-scheduler
            securityContext: {}
            terminationGracePeriodSeconds: 30

      1. 通過環境變數來建立您的採集配置和自訂Tag，所有與配置相關的環境變數都採用aliyun_logs_作為首碼。

         • 建立採集配置的規則如下：

           - name: aliyun_logs_log-varlog
             value: /var/log/*.log                        

           樣本中建立了一個採集配置，格式為aliyun_logs_{key}，對應的{key}為log-varlog。

           • aliyun_logs_log-varlog：該env表示建立一個Logstore名為log-varlog，日誌採集路徑為/var/log/*.log的配置，對應的Log Service採集配置名稱也是log-varlog，目的是將容器的/var/log/*.log檔案內容採集到log-varlog這個Logstore中。

         • 建立自訂Tag的規則如下：

           - name: aliyun_logs_mytag1_tags
             value: tag1=v1                       

           配置Tag後，當採集到該容器的日誌時，會自動附加對應的欄位到Log Service。其中mytag1為任意不包含'_'的名稱。

      2. 如果您的採集配置中指定了非stdout的採集路徑，需要在此部分建立相應的volumeMounts。

         樣本中採集配置添加了對/var/log/*.log的採集，因此相應地添加了/var/log的volumeMounts。

   5. 當YAML編寫完成後，單擊建立，即可將相應的配置交由Kubernetes叢集執行。

2. 配置環境變數的進階參數。

   通過容器環境變數配置採集支援多種配置參數。您可以根據實際需求設定進階參數，以滿足日誌採集的特殊需求。

   重要

   通過容器環境變數配置採集日誌的方式不適用於邊緣情境。

   欄位	說明	樣本	注意事項
   aliyun_logs_{key}	必選項。{key}只能包含小寫字母、數字和-。 若不存在aliyun_logs_{key}_logstore，則預設建立並採集到名為{key}的logstore。 當值為stdout時表示採集容器的標準輸出；其他值為容器內的日誌路徑。	- name: aliyun_logs_catalina value: stdout - name: aliyun_logs_access-log value: /var/log/nginx/access.log	預設採集方式為極簡模式。如需解析日誌內容，建議使用Log Service控制台，並參見通過DaemonSet方式採集Kubernetes容器文本日誌或通過DaemonSet方式採集Kubernetes容器標準輸出（舊版）進行配置。 {key}表示Log Service中Logtail採集配置的名稱，需保持在K8s叢集內唯一。
   aliyun_logs_{key}_tags	可選。值為{tag-key}={tag-value}類型，用於對日誌進行標識。	- name: aliyun_logs_catalina_tags value: app=catalina	不涉及。
   aliyun_logs_{key}_project	可選。值為指定的Log ServiceProject。當不存在該環境變數時，為您安裝時所選的Project。	- name: aliyun_logs_catalina_project value: my-k8s-project	Project需與您的Logtail工作所在的Region一致。
   aliyun_logs_{key}_logstore	可選。值為指定的Log ServiceLogstore。當不存在該環境變數時，Logstore和{key}一致。	- name: aliyun_logs_catalina_logstore value: my-logstore	不涉及。
   aliyun_logs_{key}_shard	可選。值為建立Logstore時的shard數，取值範圍為[1 , 10]。當不存在該環境變數時，值為2。 說明 若logstore已經存在，則該參數不生效。	- name: aliyun_logs_catalina_shard value: '4'	不涉及。
   aliyun_logs_{key}_ttl	可選。值為指定的日誌儲存時間，取值範圍為[1 , 3650]。 當取值為3650時，指定日誌的儲存時間為永久儲存。 當不存在該環境變數時，預設指定日誌的儲存時間為90天。 說明 若Logstore已經存在，則該參數不生效。	- name: aliyun_logs_catalina_ttl value: '3650'	不涉及。
   aliyun_logs_{key}_machinegroup	可選。值為應用的機器組。當不存在該環境變數時與安裝Logtail的預設機器組一致。關於該參數的詳細使用方法，請參見下文的採集阿里雲ACK叢集文本日誌（DaemonSet方式部署Logtail）。	- name: aliyun_logs_catalina_machinegroup value: my-machine-group	不涉及。
   aliyun_logs_{key}_logstoremode	可選。值為指定的Log ServiceLogstore的類型，不指定該參數的話，預設值為standard，取值： 說明 若Logstore已經存在，則該參數不生效。 standard：支援Log Service一站式資料分析功能，適用於即時監控、互動式分析以及構建完整的可觀測性系統等情境。 query：支援高效能查詢，索引流量費用約為standard的一半，但不支援SQL分析，適用於資料量大、儲存周期長（周、月層級以上）、無日誌分析的情境。	- name: aliyun_logs_catalina_logstoremode value: standard - name: aliyun_logs_catalina_logstoremode value: query	該參數需要logtail-ds鏡像版本>=1.3.1。

   • 定製需求1：將多個應用資料擷取到同一Logstore

     如果您需要將多個應用資料擷取到同一Logstore，可以設定 aliyun_logs_{key}_logstore參數，例如以下配置將2個應用的stdout採集到stdout-logstore中。

     樣本中應用1的{key}為app1-stdout，應用2的{key}為app2-stdout。

     應用1設定的環境變數為：

     # 配置環境變數
         - name: aliyun_logs_app1-stdout
           value: stdout
         - name: aliyun_logs_app1-stdout_logstore
           value: stdout-logstore

     應用2設定的環境變數為：

     # 配置環境變數
         - name: aliyun_logs_app2-stdout
           value: stdout
         - name: aliyun_logs_app2-stdout_logstore
           value: stdout-logstore

   • 定製需求2：將不同應用資料擷取到不同的Project

     如果您需要將不同應用的資料擷取到多個Project中，您需要進行以下操作：

     1. 在每個Project中建立一個機器組，選擇自訂標識，標識名為k8s-group-{cluster-id}，其中{cluster-id}為您的叢集ID，機器組名稱可以自訂配置。

     2. 在每個應用的環境變數中配置project、logstore、machinegroup資訊，其中機器組名稱為您在上一步建立的機器組名。

        如下樣本中應用1的{key}為app1-stdout，應用2的{key}為app2-stdout。其中如果兩個應用在同一個K8s叢集中，對應的machinegroup可以使用同一個machinegroup。

        應用1設定的環境變數為：

        # 配置環境變數
            - name: aliyun_logs_app1-stdout
              value: stdout
            - name: aliyun_logs_app1-stdout_project
              value: app1-project
            - name: aliyun_logs_app1-stdout_logstore
              value: app1-logstore
            - name: aliyun_logs_app1-stdout_machinegroup
              value: app1-machine-group

        應用2設定的環境變數為：

        # 應用2 配置環境變數
            - name: aliyun_logs_app2-stdout
              value: stdout
            - name: aliyun_logs_app2-stdout_project
              value: app2-project
            - name: aliyun_logs_app2-stdout_logstore
              value: app2-logstore
            - name: aliyun_logs_app2-stdout_machinegroup
              value: app1-machine-group