通过Pod环境变量配置应用日志采集 - 容器计算服务 ACS

容器计算服务 ACS（Container Compute Service）集成了阿里云日志服务SLS。您可在创建ACS集群时启用日志服务，快速采集集群内的容器日志，包括容器的标准输出以及容器内的文本文件。本文介绍如何在ACS集群中通过Pod环境变量采集应用日志。

步骤一：启用日志服务组件

您可以在创建ACS集群时勾选使用日志服务来自动启用日志服务组件。若创建时未勾选，您也可以通过以下步骤为已有集群启用日志服务组件。

登录容器计算服务控制台，在左侧导航栏选择集群。
在集群页面，单击目标集群ID，然后在左侧导航栏，选择运维管理 > 组件管理。
在日志与监控区域找到alibaba-log-controller。单击安装，并在安装组件对话框中单击确定。

重要

如果您已安装的alibaba-log-controller组件为旧版本，可以对组件进行升级。升级组件后，集群会重置组件参数。如果您曾自定义alibaba-log-controller的配置和环境变量，参数将被覆盖，请重新配置。

步骤二：创建应用时配置日志服务

您可以在创建应用的同时配置日志服务，从而对容器的日志进行采集。目前支持通过控制台和YAML模板两种方式进行配置。

通过控制台向导创建应用并配置日志服务

登录容器计算服务控制台，在左侧导航栏选择集群。
在集群页面，单击目标集群ID，然后在左侧导航栏，选择工作负载 > 无状态。
在无状态页面上方的命名空间下拉框中设置命名空间，然后单击页面右上角的使用镜像创建。
说明
此处是以无状态应用为例子，对于其它类型的工作负载（例如：有状态）配置方式相同。
在应用基本信息页签，设置应用名称、副本数量和类型，单击下一步，进入容器配置页面。
说明
以下仅介绍日志服务相关的配置。关于其他的应用配置项，请参见创建无状态工作负载Deployment。
在日志配置区域，配置日志相关信息。
1. 设置采集配置。
  单击+图标创建新的采集配置，每个采集配置由日志库和容器内日志路径两项构成。
  - 日志库：配置Logstore名称，用于指定所采集日志存储于该Logstore。如果该Logstore不存在，ACS将会自动为您在集群关联的日志服务Project下创建相应的Logstore。
    说明
    新创建的Logstore中的日志默认保存时间为180天。
  - 容器内日志路径：指定希望采集的日志所在的路径，例如使用/usr/local/tomcat/logs/catalina.*.log来采集Tomcat的文本日志。
    说明
    指定为stdout时，表示采集容器的标准输出和标准错误输出。
    每一项采集配置都会被自动创建为对应Logstore的一个采集配置，默认采用极简模式（按行）进行采集。
2. 设置自定义Tag。
  单击+图标创建新的自定义Tag，每一个自定义Tag都是一个键值对，会拼接到所采集到的日志中，您可以使用它来为容器的日志数据进行标记，例如版本号。
当完成所有配置后，可单击右上角的下一步进入后续流程。
后续操作，可参见创建无状态工作负载Deployment。

通过YAML模板创建

登录容器计算服务控制台，在左侧导航栏选择集群。
在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择工作负载 > 无状态。
在无状态页面上方的命名空间下拉框中设置命名空间，然后单击页面右上角的使用YAML创建资源。
说明
此处是以无状态应用为例子，对于其它类型的工作负载（例如：有状态）配置方式相同。
配置YAML文件。
YAML模板的语法同Kubernetes语法，但是为了给容器指定采集配置，需要使用env来为容器增加采集配置和自定义Tag。以下是一个简单的Pod示例：
```
apiVersion: v1
kind: Pod
metadata:
  name: my-demo
spec:
  containers:
  - name: my-demo-app
    image: 'registry.cn-hangzhou.aliyuncs.com/log-service/docker-log-test:latest'
    env:   # 配置环境变量
    - name: aliyun_logs_log-stdout
      value: stdout
    - name: aliyun_logs_log-varlog
      value: /var/log/*.log
    - name: aliyun_logs_mytag1_tags
      value: tag1=v1
    command: ["sh", "-c"]
    args: ["echo 'Starting my demo app'; sleep 3600"]
```
根据您的需求按照以下顺序进行配置。
说明
如果您有更多的日志采集需求，请参见步骤三：日志采集的高级参数设置。
1. 通过环境变量来创建您的采集配置和自定义Tag，所有与配置相关的环境变量都采用aliyun_logs_作为前缀。
  - 创建采集配置的规则如下：
```
apiVersion: v1
kind: Pod
metadata:
  name: my-demo
spec:
  containers:
  - name: my-demo-app
    image: 'registry.cn-hangzhou.aliyuncs.com/log-service/docker-log-test:latest'
    env:
    - name: aliyun_logs_log-stdout
      value: stdout
    - name: aliyun_logs_log-varlog
      value: /var/log/*.log    
    command: ["sh", "-c"]
    args: ["echo 'Starting my demo app'; sleep 3600"]                    
```
    示例中创建了两个采集配置，格式为aliyun_logs_{key}，对应的{key}分别为log-stdout和log-varlog。
    - aliyun_logs_log-stdout：该env表示创建一个名为log-stdout的Logstore，日志采集路径为stdout的配置，对应的日志服务采集配置名称也是log-stdout，目的是将容器的标准输出采集到log-stdout这个Logstore中。
    - aliyun_logs_log-varlog：该env表示创建一个Logstore名为log-varlog，日志采集路径为/var/log/*.log的配置，对应的日志服务采集配置名称也是log-varlog，目的是将容器的/var/log/*.log文件内容采集到log-varlog这个Logstore中。
  - 创建自定义Tag的规则如下：
```
apiVersion: v1
kind: Pod
metadata:
  name: my-demo
spec:
  containers:
  - name: my-demo-app
    image: 'registry.cn-hangzhou.aliyuncs.com/log-service/docker-log-test:latest'
    env:
    - name: aliyun_logs_mytag1_tags
      value: tag1=v1           
    command: ["sh", "-c"]
    args: ["echo 'Starting my demo app'; sleep 3600"]            
```
    配置Tag后，当采集到该容器的日志时，会自动附加对应的字段到日志服务。其中mytag1为任意不包含'_'的名称。
2. 如果您的采集配置中指定了非stdout的采集路径，需要在此部分创建相应的volumeMounts。
  示例中采集配置添加了对/var/log/*.log的采集，因此相应地添加了/var/log的volumeMounts。
当YAML编写完成后，单击创建，即可将相应的配置交由ACS集群执行。

步骤三：日志采集的高级参数设置

通过容器环境变量配置采集支持多种配置参数。您可根据实际需求设置高级参数，以满足日志采集的特殊需求。

环境变量名	说明	示例	注意事项
aliyun_logs_{key}	必选项。{key}只能包含小写字母、数字和-。若不存在aliyun_logs_{key}_logstore，则默认创建并采集到名为{key}的logstore。当值为stdout时，时，表示采集容器的标准输出；其他值为容器内的日志路径。	`- name: aliyun_logs_catalina value: stdout` `- name: aliyun_logs_access-log value: /var/log/nginx/access.log`	默认采集方式为极简模式。如需解析日志内容，建议使用日志服务控制台。 {key}表示日志服务组件采集配置的名称，需保持在K8s集群内唯一。
aliyun_logs_{key}_tags	可选。值为{tag-key}={tag-value}类型，用于对日志进行标识。	`- name: aliyun_logs_catalina_tags value: app=catalina`	不涉及。
aliyun_logs_{key}_project	可选。值为指定的日志服务Project。当不存在该环境变量时为您安装时所选的Project。	`- name: aliyun_logs_catalina_project value: my-k8s-project`	Project需与您的日志服务组件工作所在Region一致。
aliyun_logs_{key}_logstore	可选。值为指定的日志服务Logstore。当不存在该环境变量时Logstore和{key}一致。	`- name: aliyun_logs_catalina_logstore value: my-logstore`	不涉及。
aliyun_logs_{key}_shard	可选。值为创建Logstore时的shard数，取值范围为[1 , 10]。当不存在该环境变量时值为2。说明若logstore已经存在，则该参数不生效。	`- name: aliyun_logs_catalina_shard value: 4`	不涉及。
aliyun_logs_{key}_ttl	可选。值为指定的日志保存时间，取值范围为[1 , 3650]。当取值为3650时，指定日志的保存时间为永久保存。当不存在该环境变量时，默认指定日志的保存时间为90天。说明若Logstore已经存在，则该参数不生效。	`- name: aliyun_logs_catalina_ttl value: 3650`	不涉及。
aliyun_logs_{key}_machinegroup	可选。值为应用的机器组。当不存在该环境变量时与安装日志服务组件的默认机器组一致。关于该参数的详细使用方法，请参见下文的特殊场景二：将不同应用数据采集到不同的Project。	`- name: aliyun_logs_catalina_machinegroup value: my-machine-group`	不涉及。
aliyun_logs_{key}_logstoremode	可选。值为指定的日志服务Logstore的类型，不指定该参数的话，默认值为standard，取值：说明若Logstore已经存在，则该参数不生效。 standard：支持日志服务一站式数据分析功能，适用于实时监控、交互式分析以及构建完整的可观测性系统等场景。 query：支持高性能查询，索引流量费用约为standard的一半，但不支持SQL分析，适用于数据量大、存储周期长（周、月级别以上）、无日志分析的场景。	`- name: aliyun_logs_catalina_logstoremode value: standard` `- name: aliyun_logs_catalina_logstoremode value: query`	不涉及。

特殊场景一：将多个应用数据采集到同一Logstore

如果您需要将多个应用数据采集到同一Logstore，可以设置 aliyun_logs_{key}_logstore参数，例如以下配置将2个应用的stdout采集到stdout-logstore中。

示例中应用1的{key}为app1-stdout，应用2的{key}为app2-stdout。

应用1设置的环境变量为：

apiVersion: v1
kind: Pod
metadata:
  name: my-demo
spec:
  containers:
  - name: my-demo-app
    image: 'registry.cn-hangzhou.aliyuncs.com/log-service/docker-log-test:latest'
    env:    # 配置环境变量
    - name: aliyun_logs_app1-stdout
      value: stdout
    - name: aliyun_logs_app1-stdout_logstore
      value: stdout-logstore
    command: ["sh", "-c"]
    args: ["echo 'Starting my demo app'; sleep 3600"]

应用2设置的环境变量为：

apiVersion: v1
kind: Pod
metadata:
  name: my-demo
spec:
  containers:
  - name: my-demo-app
    image: 'registry.cn-hangzhou.aliyuncs.com/log-service/docker-log-test:latest'
    env:	# 配置环境变量
    - name: aliyun_logs_app2-stdout
      value: stdout
    - name: aliyun_logs_app2-stdout_logstore
      value: stdout-logstore
    command: ["sh", "-c"]
    args: ["echo 'Starting my demo app'; sleep 3600"]

特殊场景二：将不同应用数据采集到不同的Project

如果您需要将不同应用的数据采集到多个Project中，您需要进行以下操作：

在每个Project中创建一个机器组，选择自定义标识，标识名为k8s-group-{cluster-id}，其中{cluster-id}为您的集群ID，机器组名称可以自定义配置。

每个应用的环境变量中配置project、logstore、machinegroup信息，其中机器组名称为您在上一步创建的机器组名。

如下示例中应用1的{key}为app1-stdout，应用2的{key}为app2-stdout。其中如果两个应用在同一个K8s集群中，对应machinegroup可以使用同一个machinegroup。