日志服务：安装Logtail组件（自建Kubernetes集群）

1. 登录日志服务控制台。

2. 创建Project。具体操作，请参见创建项目Project。

   建议创建一个以k8s-log-custom-开头的Project，例如k8s-log-custom-sd89ehdq。

3. 登录您的Kubernetes集群。

4. 执行如下命令安装Logtail及其他依赖组件。

   重要

   • 请确保用于执行脚本的机器中，已安装kubectl命令。

   • 目前，alibaba-log-controller组件只支持Kubernetes 1.6及以上版本。

   • 如果您不需要CRD功能，可以删除alibaba-cloud-log-all/templates/alicloud-log-config.yaml文件，然后重新执行下述命令。

   1. 下载安装包并解压。

      • 中国地域

        wget https://logtail-release-cn-hangzhou.oss-cn-hangzhou.aliyuncs.com/kubernetes/0.5.3/alibaba-cloud-log-all.tgz; tar xvf alibaba-cloud-log-all.tgz; chmod 744 ./alibaba-cloud-log-all/k8s-custom-install.sh

      • 海外地域

        wget https://logtail-release-ap-southeast-1.oss-ap-southeast-1.aliyuncs.com/kubernetes/0.5.3/alibaba-cloud-log-all.tgz; tar xvf alibaba-cloud-log-all.tgz; chmod 744 ./alibaba-cloud-log-all/k8s-custom-install.sh

   2. 修改配置文件./alibaba-cloud-log-all/values.yaml。

      # ===================== 必需要补充的内容 =====================
      # 目标Project名称。
      SlsProjectName: 
      # Project所属地域。
      Region: 
      # Project所属阿里云账号ID，需使用双引号（""）包裹。
      AliUid: "11**99"
      # 阿里云账号或RAM用户的AccessKey ID和AccessKey Secret，需具备AliyunLogFullAccess权限。
      AccessKeyID: 
      AccessKeySercret: 
      # 自定义集群ID，命名只支持大小写，数字，短划线(-)。
      ClusterID: 
      # ==========================================================
      # 是否开启指标采集相关组件，可选参数: true、false, 默认true。
      SlsMonitoring: true
      # 网络类型，可选参数：Internet、Intranet，默认使用Internet。
      Net: Internet
      # 容器运行时是否为containerd，可选参数: true, false, 默认false。
      SLS_CONTAINERD_USED: true

      命令中各参数说明如下所示，请根据实际情况替换。

      参数	说明
      SlsProjectName	配置为您在步骤2中创建的Project名称。
      Region	您的Project所在的地域ID。例如华东1（杭州）的地域ID为cn-hangzhou。更多信息，请参见开服地域。
      AliUid	Project所属账号的阿里云账号（主账号）ID，需使用双引号包裹（""），例如AliUid: "11**99"。如何获取，请参见获取日志服务所在的阿里云账号（主账号）ID。
      AccessKeyID	Project所属账号的阿里云账号的AccessKey ID。推荐使用RAM用户的AccessKey，并授予RAM用户AliyunLogFullAccess权限。相关操作，请参见创建RAM用户及授权。
      AccessKeySercret	Project所属账号的阿里云账号的AccessKey Secret。推荐使用RAM用户的AccessKey并授予RAM用户AliyunLogFullAccess权限。相关操作，请参见创建RAM用户及授权。
      ClusterID	自定义集群ID，命名只支持大小写字母、数字、短划线(-)。该参数对应后面操作中的${your_k8s_cluster_id}。 重要 不同的Kubernetes集群，请勿配置相同的集群ID。
      SlsMonitoring	是否开启指标采集相关组件，可选项： true（默认值）：开启。 false：不开启。
      Net	网络类型。网络类型选择请参见网络选择的示例。 可选项： Internet（默认值）：公网。 Intranet：内网。
      SLS_CONTAINERD_USED	容器运行时是否为containerd，可选项： true：开启。 false（默认值）：不开启。 重要 在使用containerd作为容器运行时的自建Kubernetes集群中，若未开启相关参数，可能导致日志无法被Logtail采集。

   3. 安装Logtail及其他依赖组件。

      bash ./alibaba-cloud-log-all/k8s-custom-install.sh; kubectl apply -R -f result

安装完成后，在该Project下自动创建如下日志服务资源。

查看Logtail状态

运行如下命令查看Logtail状态等信息。

kubectl get po -n kube-system | grep logtail

返回结果如下：

NAME            READY     STATUS    RESTARTS   AGE
logtail-ds-gb92k   1/1       Running   0          2h
logtail-ds-wm7lw   1/1       Running   0          4d

查看Logtail版本及IP地址

运行如下命令查看Logtail的版本号、IP地址等信息。

kubectl exec logtail-ds-gb92k -n kube-system cat /usr/local/ilogtail/app_info.json

返回结果如下：

{
   "UUID" : "",
   "hostname" : "logtail-ds-gb92k",
   "instance_id" : "0EBB2B0E-0A3B-11E8-B0CE-0A58AC140402_172.20.4.2_1517810940",
   "ip" : "192.0.2.0",
   "logtail_version" : "0.16.2",
   "os" : "Linux; 3.10.0-693.2.2.el7.x86_64; #1 SMP Tue Sep 12 22:26:13 UTC 2017; x86_64",
   "update_time" : "2021-02-05 06:09:01"
}

组件升级

建议通过安装最新Logtail组件进行更新，如果只更新部分组件（如logtail-ds、alibaba-log-controller）的镜像版本号可能导致升级失败。

1. 备份Logtail组件相关描述文件。

   重要

   升级期间（数秒内），因Logtail容器重启，可能出现少量数据被重复或丢失采集的情况。在升级前，您需要对Logtail组件相关描述文件进行备份。

   例如下所示。

   kubectl get ds -n kube-system logtail-ds -o yaml > logtail-ds.yaml
   kubectl get deployment -n kube-system alibaba-log-controller -o yaml > alibaba-log-controller.yaml
   kubectl get crd aliyunlogconfigs.log.alibabacloud.com -o yaml > aliyunlogconfigs-crd.yaml
   kubectl get cm -n kube-system alibaba-log-configuration -o yaml > alibaba-log-configuration.yaml
   kubectl get aliyunlogconfigs --all-namespaces -o yaml > aliyunlogconfigs-cr.yaml

2. 重新安装Logtail组件，即可完成自动升级。具体操作，请参见安装Logtail。

升级回滚

如果您要回滚到某个版本，可参考如下步骤。

1. 根据业务需求判断升级之后的新Logtail配置是否需要保留。

2. 删除备份文件中的冗余信息。

   cat logtail-ds.yaml | kubectl-neat > neat-logtail-ds.yaml
   cat alibaba-log-controller.yaml | kubectl-neat > neat-alibaba-log-controller.yaml
   cat aliyunlogconfigs-crd.yaml | kubectl-neat > neat-aliyunlogconfigs-crd.yaml
   cat alibaba-log-configuration.yaml | kubectl-neat > neat-alibaba-log-configuration.yaml
   cat aliyunlogconfigs-cr.yaml | kubectl-neat > neat-aliyunlogconfigs-cr.yaml

3. 应用精简后的备份文件，恢复Logtail配置。

   kubectl apply -f neat-logtail-ds.yaml
   kubectl apply -f neat-alibaba-log-controller.yaml
   kubectl apply -f neat-aliyunlogconfigs-crd.yaml
   kubectl apply -f neat-alibaba-log-configuration.yaml
   kubectl apply -f neat-aliyunlogconfigs-cr.yaml

如何查看镜像版本？

您可以通过镜像仓库查看。

• logtail-ds镜像仓库

• alibaba-log-controller镜像仓库

多个自建Kubernetes集群如何共用一个日志服务Project？

如果您希望将多个自建Kubernetes集群中的容器日志采集到同一个日志服务Project中，您可以在安装其他集群日志服务组件时，将安装参数中的设置与您第一次安装集群日志服务组件时保持一致。

如何查看Logtail日志？

Logtail日志存储在Logtail容器中的/usr/local/ilogtail/目录中，文件名为ilogtail.LOG和logtail_plugin.LOG。

Logtail容器中的标准输出并不具备参考意义，请忽略以下标准输出内容。

start umount useless mount points, /shm$|/merged$|/mqueue$
umount: /logtail_host/var/lib/docker/overlay2/3fd0043af174cb0273c3c7869500fbe2bdb95d13b1e110172ef57fe840c82155/merged: must be superuser to unmount
umount: /logtail_host/var/lib/docker/overlay2/d5b10aa19399992755de1f85d25009528daa749c1bf8c16edff44beab6e69718/merged: must be superuser to unmount
umount: /logtail_host/var/lib/docker/overlay2/5c3125daddacedec29df72ad0c52fac800cd56c6e880dc4e8a640b1e16c22dbe/merged: must be superuser to unmount
......
xargs: umount: exited with status 255; aborting
umount done
start logtail
ilogtail is running
logtail status:
ilogtail is running

如何查看Kubernetes集群中日志服务相关组件的状态？

执行如下命令进行查看。

kubectl get deploy alibaba-log-controller -n kube-system
kubectl get ds logtail-ds -n kube-system

alibaba-log-controller启动失败，该怎么处理？

请确认您是否按照以下方式进行安装。

• 在Kubernetes集群的Master节点中执行安装命令。

• 安装命令参数中输入的是您的集群ID。

如果由于以上问题安装失败，请使用kubectl delete -f deploy命令删除已生成的安装模板并重新执行安装命令。

如何查看Kubernetes集群中Logtail DaemonSet状态？

执行kubectl get ds -n kube-system命令查看Logtail DaemonSet状态。

如何查看Logtail的运行日志？

Logtail运行日志保存在/usr/local/ilogtail/目录下，文件名为ilogtail.LOG，轮转文件会压缩存储为ilogtail.LOG.x.gz。例如执行如下命令查看日志。

kubectl exec logtail-ds-gb92k -n kube-system tail /usr/local/ilogtail/ilogtail.LOG

返回结果如下：

[2018-02-05 06:09:02.168693] [INFO] [9] [build/release64/sls/ilogtail/LogtailPlugin.cpp:104] logtail plugin Resume:start
[2018-02-05 06:09:02.168807] [INFO] [9] [build/release64/sls/ilogtail/LogtailPlugin.cpp:106] logtail plugin Resume:success
[2018-02-05 06:09:02.168822] [INFO] [9] [build/release64/sls/ilogtail/EventDispatcher.cpp:369] start add existed check point events, size:0
[2018-02-05 06:09:02.168827] [INFO] [9] [build/release64/sls/ilogtail/EventDispatcher.cpp:511] add existed check point events, size:0 cache size:0 event size:0 success count:0

如何重启某个Pod中的Logtail？

1. 停止Logtail。

2. 其中logtail-ds-gb92k表示容器名，kube-system表示命名空间，请根据实际情况替换。

   kubectl exec logtail-ds-gb92k -n kube-system /etc/init.d/ilogtaild stop

   返回如下结果表示停止成功。

   kill process Name: ilogtail pid: 7
   kill process Name: ilogtail pid: 9
   stop success

3. 启动Logtail。

4. 其中logtail-ds-gb92k表示容器名，kube-system表示命名空间，请根据实际情况替换。

   kubectl exec logtail-ds-gb92k -n kube-system /etc/init.d/ilogtaild start

   返回如下结果表示启动成功。

   ilogtail is running 

如何采集控制平面组件日志？

如果是自建Kubernetes集群或者阿里云专有版ACK集群，您可以参见通过DaemonSet-控制台方式采集容器标准输出完成采集。

如何卸载已安装的logtail-ds、alibaba-log-controller等组件？

执行kubectl delete -R -f result卸载已安装的logtail-ds、alibaba-log-controller等组件。