Simple Log Service：通過DaemonSet方式採集Kubernetes容器標準輸出

登入Log Service控制台，在快速接入資料地區，單擊Kubernetes-標準輸出，按照設定精靈操作

在Logtail設定步驟中，完成如下配置。

重要參數說明如下：

• 基礎資訊

  參數	說明
  配置名稱	Logtail配置的名稱。
  標準輸出	選中該選項後，Logtail將採集容器標準輸出。
  標準錯誤	選中該選項後，Logtail將採集容器標準錯誤。
  採集模式	包括單行模式和多行模式。 使用多行模式時，還需要設定行首正則。

• 容器過濾

  Kubernetes中的命名空間名和容器名會映射到容器Label中，分別為io.kubernetes.pod.namespace和io.kubernetes.container.name。推薦使用這兩個容器Label進行容器過濾。如果這兩個容器Label未滿足需求，請使用環境變數的黑白名單進行容器過濾。例如某Pod所屬的命名空間為backend-prod，容器名為worker-server，如果您要採集包含該容器的日誌，可以設定容器Label白名單為io.kubernetes.pod.namespace : backend-prod或io.kubernetes.container.name : worker-server。

  重要

  • 容器Label為Docker inspect中的Label，不是Kubernetes中的Label。如何擷取，請參見擷取容器Label。
  • 環境變數為容器啟動中配置的環境變數資訊。如何擷取，請參見擷取容器環境變數。
  • 請勿設定相同的LabelKey，如果重名只生效一個。

  參數	說明
  容器Label白名單	容器Label白名單，用於指定待採集的容器。預設為空白，表示採集所有容器的標準輸出。如果您要設定容器Label白名單，那麼LabelKey必填，LabelValue可選填。 如果LabelValue為空白，則容器Label中包含LabelKey的容器都匹配。 如果LabelValue不為空白，則容器Label中包含LabelKey=LabelValue的容器才匹配。 LabelValue預設為字串匹配，即只有LabelValue和容器Label的值完全相同才會匹配。如果該值以^開頭並且以$結尾，則為正則匹配。例如：配置LabelKey為io.kubernetes.container.name，配置LabelValue為^(nginx|cube)$，表示可匹配名為nginx、cube的容器。 多個白名單之間為或關係，即只要容器Label滿足任一白名單即可被匹配。
  容器Label黑名單	容器Label黑名單，用於排除不採集的容器。預設為空白，表示不排除任何容器。如果您要設定容器Label黑名單，那麼LabelKey必填，LabelValue可選填。 如果LabelValue為空白，則容器Label中包含LabelKey的容器都將被排除。 如果LabelValue不為空白，則容器Label中包含LabelKey=LabelValue的容器才會被排除。 LabelValue預設為字串匹配，即只有LabelValue和容器Label的值完全相同才會匹配。如果該值以^開頭並且以$結尾，則為正則匹配。例如：設定LabelKey為io.kubernetes.container.name，設定LabelValue為^(nginx|cube)$，表示可匹配名為nginx、cube的容器。 多個黑名單之間為或關係，即只要容器Label滿足任一黑名單對即可被排除。
  環境變數白名單	環境變數白名單，用於指定待採集的容器。預設為空白，表示採集所有容器的標準輸出。如果您要設定環境變數白名單，那麼EnvKey必填，EnvValue可選填。 如果EnvValue為空白，則容器環境變數中包含EnvKey的容器都匹配。 如果EnvValue不為空白，則容器環境變數中包含EnvKey=EnvValue的容器才匹配。 EnvValue預設為字串匹配，即只有EnvValue和環境變數的值完全相同才會匹配。如果該值以^開頭並且以$結尾，則為正則匹配，例如：設定EnvKey為NGINX_SERVICE_PORT，設定EnvValue為^(80|6379)$，表示可匹配服務連接埠為80、6379的容器。 多個白名單之間為或關係，即只要容器的環境變數滿足任一索引值對即可被匹配。
  環境變數黑名單	環境變數黑名單，用於排除不採集的容器。預設為空白，表示不排除任何容器。如果您要設定環境變數黑名單，那麼EnvKey必填，EnvValue可選填。 如果EnvValue為空白，則容器環境變數中包含EnvKey的容器的日誌都將被排除。 如果EnvValue不為空白，則容器環境變數中包含EnvKey=EnvValue的容器才會被排除。 EnvValue預設為字串匹配，即只有EnvValue和環境變數的值完全相同才會匹配。如果該值以^開頭並且以$結尾，則為正則匹配，例如：設定EnvKey為NGINX_SERVICE_PORT，設定EnvValue為^(80|6379)$，表示可匹配服務連接埠為80、6379的容器。 多個黑名單之間為或關係，即只要容器的環境變數滿足任一索引值對即可被排除。
  K8s Label白名單	通過Kubernetes Label白名單指定待採集的容器。如果您要設定Kubernetes Label白名單，那麼LabelKey必填，LabelValue可選填。 如果LabelValue為空白，則Kubernetes Label中包含LabelKey的容器都匹配。 如果LabelValue不為空白，則Kubernetes Label中包含LabelKey=LabelValue的容器才匹配。 LabelValue預設為字串匹配，即只有LabelValue和Kubernetes Label的值完全相同才會匹配。如果該值以^開頭並且以$結尾，則為正則匹配。例如設定LabelKey為app，設定LabelValue為^(test1|test2)$，表示匹配Kubernetes Label中包含app:test1、app:test2的容器。 多個白名單之間為或關係，即只要Kubernetes Label滿足任一白名單即可被匹配。 說明 Logtail 1.0.34及以上版本支援該參數。 由於在Kubernetes管控類資源（例如Deployment）運行時更改Label，不會重啟具體的工作資源Pod，因此Pod無法感知此變更，可能導致匹配規則失效。設定K8s Label黑白名單時，請以Pod中的Kubernetes Label為準。關於Kubernetes Label的更多資訊，請參見Labels and Selectors。
  K8s Label黑名單	通過Kubernetes Label黑名單排除不採集的容器。如果您要設定Kubernetes Label黑名單，那麼LabelKey必填，LabelValue可選填。 如果LabelValue為空白，則Kubernetes Label中包含LabelKey的容器都被排除。 如果LabelValue不為空白，則Kubernetes Label中包含LabelKey=LabelValue的容器才會被排除。 LabelValue預設為字串匹配，即只有LabelValue和Kubernetes Label的值完全相同才會匹配。如果該值以^開頭並且以$結尾，則為正則匹配。例如設定LabelKey為app，設定LabelValue為^(test1|test2)$，表示匹配Kubernetes Label中包含app:test1、app:test2的容器。 多個黑名單之間為或關係，即只要Kubernetes Label滿足任一黑名單對即可被排除。 說明 Logtail 1.0.34及以上版本支援該參數。 由於在Kubernetes管控類資源（例如Deployment）運行時更改Label，不會重啟具體的工作資源Pod，因此Pod無法感知此變更，可能導致匹配規則失效。設定K8s Label黑白名單時，請以Pod中的Kubernetes Label為準。關於Kubernetes Label的更多資訊，請參見Labels and Selectors。
  命名空間	通過Namespace名稱指定採集的容器，支援正則匹配。例如設定為"K8sNamespaceRegex":"^(default|nginx)$"，表示匹配nginx命名空間、default命名空間下的所有容器。 說明 Logtail 1.0.34及以上版本支援該參數。
  Pod名稱	通過Pod名稱指定待採集的容器，支援正則匹配。例如設定為"K8sPodRegex":"^(nginx-log-demo.*)$",，表示匹配以nginx-log-demo開頭的Pod下的所有容器。 說明 Logtail 1.0.34及以上版本支援該參數。
  容器名稱	通過容器名稱指定待採集的容器（Kubernetes容器名稱是定義在spec.containers中），支援正則匹配。例如設定為"K8scontainerRegex":"^(container-test)$"，表示匹配所有名為container-test的容器。 說明 Logtail 1.0.34及以上版本支援該參數。

• 欄位擴充相關參數

  如果您使用的是Logtail 1.0.34及以上版本，您可以將環境變數和Kubernetes Label添加到日誌，作為日誌標籤。

  參數	說明
  使用環境變數擴充	設定環境變數擴充欄位後，Log Service將在日誌中新增環境變數相關欄位。例如設定環境變數名為VERSION，設定擴充欄位名為env_version，當容器中包含環境變數VERSION=v1.0.0時，會將該資訊添加到日誌中，即添加欄位__tag__:__env_version__: v1.0.0。
  使用K8s Label擴充	設定Kubernetes Label擴充欄位後，Log Service將在日誌中新增Kubernetes Label相關欄位。例如設定K8s Label為app，設定擴充欄位名為k8s_label_app，當Kubernetes中包含Label app=serviceA時，會將該資訊添加到日誌中，即添加欄位__tag__:__k8s_label_app__: serviceA。

• 進階參數

  參數	說明
  日誌最大長度（位元組）	日誌最大長度，預設值為524288位元組。取值範圍為[1024, 20971520]，單位：位元組。 如果日誌長度超過該值，則不再繼續尋找行首，直接上傳。
  首次採集回溯歷史資料長度（位元組）	首次採集時回溯歷史資料長度，預設值為131072位元組（128 KB）。建議取值範圍為[131072,1048576]，單位：位元組。
  行首正則匹配長度（位元組）	行首匹配的長度，預設值為10240位元組。 如果行首匹配的Regex在前N個位元組即可體現，推薦設定此參數，提升行首匹配效率。
  BeginLineTimeoutMs	行首匹配的逾時時間，預設值為3000毫秒。 如果3000毫秒內沒有出現新日誌，則結束匹配，將最後一條日誌上傳到Log Service。

登入Log Service控制台，在快速接入資料地區，單擊Kubernetes-標準輸出，按照設定精靈操作，在Logtail配置頁面，單擊右上方的切換為編輯器配置。

在外掛程式配置中填寫您的Logtail配置資訊，樣本如下所示。

{
    "inputs":[
        {
            "type":"service_docker_stdout",
            "detail":{
                "Stdout":true,
                "Stderr":true,
                "IncludeContainerLabel":{
                    "LabelKey":"LabelValue"
                },
                "ExcludeContainerLabel":{
                    "LabelKey":"LabelValue"
                },
                "IncludeK8sLabel":{
                    "LabelKey":"LabelValue"
                },
                "ExcludeK8sLabel":{
                    "LabelKey":"LabelValue"
                },
                "IncludeEnv":{
                    "EnvKey":"EnvValue"
                },
                "ExcludeEnv":{
                    "EnvKey":"EnvValue"
                },
                "ExternalK8sLabelTag":{
                    "EnvKey":"EnvValue"
                },
                "ExternalEnvTag":{
                    "EnvKey":"EnvValue"
                },
                "K8sNamespaceRegex":"^(default|kube-system)$",
                "K8sPodRegex":"^(deploy.*)$",
                "K8sContainerRegex":"^(container1|container2)$"
            }
        }
    ]
}

重要參數說明如下：

• 資料來源類型

  固定為service_docker_stdout。

• 容器過濾相關參數

  • Logtail 1.0.34以下版本，只支援通過環境變數、容器Label進行容器過濾。詳細說明如下：

    Kubernetes中的命名空間名和容器名會映射到容器Label中，分別為io.kubernetes.pod.namespace和io.kubernetes.container.name。推薦使用這兩個容器Label進行容器過濾。如果這兩個容器Label未滿足需求，請使用環境變數的黑白名單進行容器過濾。例如某Pod所屬的命名空間為backend-prod，容器名為worker-server，如果您要採集包含該容器的日誌，可以設定容器Label白名單為io.kubernetes.pod.namespace : backend-prod或io.kubernetes.container.name : worker-server。

    重要

    • 容器Label為Docker inspect中的Label，不是Kubernetes中的Label。如何擷取，請參見擷取容器Label。
    • 環境變數為容器啟動中配置的環境變數資訊。如何擷取，請參見擷取容器環境變數。
    • 請勿設定相同的LabelKey，如果重名只生效一個。

    參數	資料類型	是否必填	說明
    IncludeLabel	map類型，其中LabelKey和LabelValue為string類型。	可選	容器Label白名單，用於指定待採集的容器。預設為空白，表示採集所有容器的標準輸出。如果您要設定容器Label白名單，那麼LabelKey必填，LabelValue可選填。 如果LabelValue為空白，則容器Label中包含LabelKey的容器都匹配。 如果LabelValue不為空白，則容器Label中包含LabelKey=LabelValue的容器才匹配。 LabelValue預設為字串匹配，即只有LabelValue和容器Label的值完全相同才會匹配。如果該值以^開頭並且以$結尾，則為正則匹配。例如：配置LabelKey為io.kubernetes.container.name，配置LabelValue為^(nginx|cube)$，表示可匹配名為nginx、cube的容器。 多個白名單之間為或關係，即只要容器Label滿足任一白名單即可被匹配。
    ExcludeLabel	map類型，其中LabelKey和LabelValue為string類型。	可選	容器Label黑名單，用於排除不採集的容器。預設為空白，表示不排除任何容器。如果您要設定容器Label黑名單，那麼LabelKey必填，LabelValue可選填。 如果LabelValue為空白，則容器Label中包含LabelKey的容器都將被排除。 如果LabelValue不為空白，則容器Label中包含LabelKey=LabelValue的容器才會被排除。 LabelValue預設為字串匹配，即只有LabelValue和容器Label的值完全相同才會匹配。如果該值以^開頭並且以$結尾，則為正則匹配。例如：設定LabelKey為io.kubernetes.container.name，設定LabelValue為^(nginx|cube)$，表示可匹配名為nginx、cube的容器。 多個黑名單之間為或關係，即只要容器Label滿足任一黑名單對即可被排除。
    IncludeEnv	map類型，其中EnvKey和EnvValue為string類型。	可選	環境變數白名單，用於指定待採集的容器。預設為空白，表示採集所有容器的標準輸出。如果您要設定環境變數白名單，那麼EnvKey必填，EnvValue可選填。 如果EnvValue為空白，則容器環境變數中包含EnvKey的容器都匹配。 如果EnvValue不為空白，則容器環境變數中包含EnvKey=EnvValue的容器才匹配。 EnvValue預設為字串匹配，即只有EnvValue和環境變數的值完全相同才會匹配。如果該值以^開頭並且以$結尾，則為正則匹配，例如：設定EnvKey為NGINX_SERVICE_PORT，設定EnvValue為^(80|6379)$，表示可匹配服務連接埠為80、6379的容器。 多個白名單之間為或關係，即只要容器的環境變數滿足任一索引值對即可被匹配。
    ExcludeEnv	map類型，其中EnvKey和EnvValue為string類型。	可選	環境變數黑名單，用於排除不採集的容器。預設為空白，表示不排除任何容器。如果您要設定環境變數黑名單，那麼EnvKey必填，EnvValue可選填。 如果EnvValue為空白，則容器環境變數中包含EnvKey的容器的日誌都將被排除。 如果EnvValue不為空白，則容器環境變數中包含EnvKey=EnvValue的容器才會被排除。 EnvValue預設為字串匹配，即只有EnvValue和環境變數的值完全相同才會匹配。如果該值以^開頭並且以$結尾，則為正則匹配，例如：設定EnvKey為NGINX_SERVICE_PORT，設定EnvValue為^(80|6379)$，表示可匹配服務連接埠為80、6379的容器。 多個黑名單之間為或關係，即只要容器的環境變數滿足任一索引值對即可被排除。

  • Logtail 1.0.34及以上版本，推薦使用Kubernetes層級的資訊（Pod名稱、Namespace名稱、容器名稱、Label）進行容器過濾。

    說明

    由於在Kubernetes管控類資源（例如Deployment）運行時更改Label，不會重啟具體的工作資源Pod，因此Pod無法感知此變更，可能導致匹配規則失效。設定K8s Label黑白名單時，請以Pod中的Kubernetes Label為準。關於Kubernetes Label的更多資訊，請參見Labels and Selectors。

    參數	資料類型	是否必填	說明
    IncludeK8sLabel	map類型，其中LabelKey和LabelValue為string類型。	可選	通過Kubernetes Label白名單指定待採集的容器。如果您要設定Kubernetes Label白名單，那麼LabelKey必填，LabelValue可選填。 如果LabelValue為空白，則Kubernetes Label中包含LabelKey的容器都匹配。 如果LabelValue不為空白，則Kubernetes Label中包含LabelKey=LabelValue的容器才匹配。 LabelValue預設為字串匹配，即只有LabelValue和Kubernetes Label的值完全相同才會匹配。如果該值以^開頭並且以$結尾，則為正則匹配。例如設定LabelKey為app，設定LabelValue為^(test1|test2)$，表示匹配Kubernetes Label中包含app:test1、app:test2的容器。 多個白名單之間為或關係，即只要Kubernetes Label滿足任一白名單即可被匹配。
    ExcludeK8sLabel	map類型，其中LabelKey和LabelValue為string類型。	可選	通過Kubernetes Label黑名單排除不採集的容器。如果您要設定Kubernetes Label黑名單，那麼LabelKey必填，LabelValue可選填。 如果LabelValue為空白，則Kubernetes Label中包含LabelKey的容器都被排除。 如果LabelValue不為空白，則Kubernetes Label中包含LabelKey=LabelValue的容器才會被排除。 LabelValue預設為字串匹配，即只有LabelValue和Kubernetes Label的值完全相同才會匹配。如果該值以^開頭並且以$結尾，則為正則匹配。例如設定LabelKey為app，設定LabelValue為^(test1|test2)$，表示匹配Kubernetes Label中包含app:test1、app:test2的容器。 多個黑名單之間為或關係，即只要Kubernetes Label滿足任一黑名單對即可被排除。
    K8sNamespaceRegex	string	可選	通過Namespace名稱指定採集的容器，支援正則匹配。例如設定為"K8sNamespaceRegex":"^(default|nginx)$"，表示匹配nginx命名空間、default命名空間下的所有容器。
    K8sPodRegex	string	可選	通過Pod名稱指定待採集的容器，支援正則匹配。例如設定為"K8sPodRegex":"^(nginx-log-demo.*)$",，表示匹配以nginx-log-demo開頭的Pod下的所有容器。
    K8sContainerRegex	string	可選	通過容器名稱指定待採集的容器（Kubernetes容器名稱是定義在spec.containers中），支援正則匹配。例如設定為"K8scontainerRegex":"^(container-test)$"，表示匹配所有名為container-test的容器。

• 日誌標籤相關參數

  如果您使用的是Logtail 1.0.34及以上版本，您可以將環境變數和Kubernetes Label添加到日誌，作為日誌標籤。

  參數	資料類型	是否必填	說明
  ExternalEnvTag	map類型，其中EnvKey和EnvValue為string類型。	可選	設定環境變數日誌標籤後，Log Service將在日誌中新增環境變數相關欄位。例如設定EnvKey為VERSION，設定EnvValue為env_version，當容器中包含環境變數VERSION=v1.0.0時，會將該資訊添加到日誌中，即添加欄位__tag__:__env_version__: v1.0.0。
  ExternalK8sLabelTag	map類型，其中LabelKey和LabelValue為string類型。	可選	設定Kubernetes Label日誌標籤後，Log Service將在日誌中新增Kubernetes Label相關欄位。例如設定LabelKey為app，設定LabelValue為k8s_label_app，當Kubernetes中包含Label app=serviceA時，會將該資訊添加到日誌中，即添加欄位__tag__:__k8s_label_app__: serviceA。

• 其他參數

  參數	資料類型	是否必填	說明
  Stdout	boolean	可選	是否採集容器標準輸出。 true（預設值）：採集。 false：不採集。
  Stderr	boolean	可選	是否採集容器標準錯誤。 true（預設值）：採集。 false：不採集。
  BeginLineRegex	string	可選	行首匹配的Regex。 該配置項為空白，表示單行模式。 Logtail通過行首Regex去匹配一條日誌的行首，如果匹配成功，則將該行作為一條新的日誌，否則將此行拼接到上一條日誌。
  BeginLineTimeoutMs	int	可選	行首匹配的逾時時間。預設值為3000毫秒。 如果3000毫秒內沒有出現新日誌，則結束匹配，將最後一條日誌上傳到Log Service。
  BeginLineCheckLength	int	可選	行首匹配的長度，預設值為10240位元組。 如果行首匹配的Regex在前N個位元組即可體現，推薦設定此參數，提升行首匹配效率。
  MaxLogSize	int	可選	日誌最大長度，預設值為524288（512KB）位元組。取值範圍為1024（1KB）-8388608（8M），單位：位元組。 如果日誌長度超過該值，則不再繼續尋找行首，直接上傳。
  StartLogMaxOffset	int	可選	首次採集時回溯歷史資料長度，預設值為131072位元組。建議取值範圍為[131072,1048576]，單位：位元組。