【推薦】使用AliyunPipelineConfig管理採集配置

前提條件

• 已安裝Logtail組件，並且Logtail組件版本號碼不低於0.5.1。具體操作，請參見安裝Logtail組件（阿里雲Kubernetes叢集）和安裝Logtail組件（自建Kubernetes叢集）。

• 目標容器持續產生日誌。

  重要

  Logtail只採集增量日誌。如果下發iLogtail配置後，記錄檔無更新，則iLogtail不會採集該檔案中的日誌。更多資訊，請參見讀取日誌。

配置步驟

vim cube.yaml

apiVersion: telemetry.alibabacloud.com/v1alpha1 # 使用預設值，無需修改。
kind: ClusterAliyunPipelineConfig               # 使用預設值，無需修改。
metadata:
  name: test-config                             # 設定資源名，在當前Kubernetes叢集內唯一。
spec:
  project:                                      # 設定目標Project名稱。
    name: k8s-your-project                      
  config:                                       # 設定iLogtail採集配置。
    inputs:                                     # 設定iLogtail採集配置裡的輸入外掛程式
      ...
    flushers:                                   # 設定iLogtail採集配置裡的輸出外掛程式
      ...

kubectl apply -f cube.yaml

vim cube.yaml

kubectl apply -f cube.yaml

kubectl delete clusteraliyunpipelineconfigs <config_name>

CR參數說明

• ApiVersion

  固定為telemetry.alibabacloud.com/v1alpha1。

• Kind

  固定為ClusterAliyunPipelineConfig。

• Metadata

  參數	資料類型	是否必填	說明

  參數	資料類型	是否必填	說明
  name	string	是	CR的唯一標識，同時也是建立出的iLogtail採集配置的名字。 注意： 該參數會作為iLogtail採集配置名稱使用，在所屬Project內唯一，且建立成功後無法修改。需要滿足以下條件： 只能包括小寫字母、數字、-和_。 必須以小寫字母或數字開頭和結尾。 長度必須在2~128字元之間。

• Spec

  參數	資料類型	是否必填	說明

  參數	資料類型	是否必填	說明
  project	PipelineProject	是	目標Project的資訊。 說明 project欄位在CR建立後不允許更改，如需切換project請建立新的CR。
  config	PiplineConfig	是	定義iLogtail 採集配置詳情。
  logstores	PipelineLogstore	否	需要建立的Logstore列表，支援建立多個Logstore。 說明 name以外的所有參數僅在建立logstore時生效。 該列表並不指定iLogtail採集配置的發送目標，只會按需建立Logstore。iLogtail採集配置的發送目標，由config中的flusher外掛程式決定。如果 iLogtail 採集配置中指定的目標 Logstore 已存在，此處可不填寫。 該列表只可以在logstores列表中新增/刪除logstore定義，不支援修改已定義的Logstore。
  machineGroups	PipelineMachineGroup	否	需要與iLogtail採集配置關聯的機器組列表。安裝logtail-ds組件時，Log Service會自動建立名為k8s-group-${your_k8s_cluster_id}的機器組，預設值為僅包含該機器組的列表。 說明 alibaba-log-controller會保證iLogtail採集配置關聯的機器組嚴格等於machineGroups指定的機器組，不在machineGroups中的機器組會被解除關聯。
  enableUpgradeOverride	bool	否	預設值為false。當叢集中存在AliyunLogConfig定義的採集配置、且與當前的AliyunPipelineConfig指向同一個iLogtail採集配置時，可以： 開啟此開關：alibaba-log-controller會對已有的AliyunLogConfig定義的採集配置進行覆蓋升級。 不開啟此開關：採集配置存在衝突，AliyunPipelineConfig應用失敗。 說明 指向同一個iLogtail採集配置的定義： 目標project相同。 AliyunLogConfig中為叢集預設的project或spec.project。AliyunPipelineConfig中為spec.project.name。 目標iLogtail採集配置名相同。 AliyunLogConfig中為spec.logtailConfig.configName。AliyunPipelineConfig中為metadata.Name。 覆蓋升級的定義： 首先，AliyunPipelineConfig生效，並更新iLogtail採集配置。 然後，如果AliyunPipelineConfig成功生效，會刪除叢集內指向同一個iLogtail採集配置的AliyunLogConfig。 最終，覆蓋更新完成。

  • PipelineProject

    說明

    project欄位在CR建立後不允許更改，如需切換project請建立新的CR。

    參數	資料類型	是否必填	說明

    參數	資料類型	是否必填	說明
    name	string	是	目標 Project 的名稱。 說明 如果您所指定的Project不存在，Log Service會自動建立。
    description	string	否	目標 Project 的描述。 說明 該參數僅在建立Project時生效。
    endpoint	string	否	目標Project的服務入口。更多資訊，請參見服務入口。預設為當前叢集所在的地區，如果目標 Project 與叢集不在同一地區，需要配置該參數。 說明 該參數僅控制採集配置所在的region，iLogtail資料投遞到該region需要另外配置iLogtail的config_server_address、data_server_list，參考Logtail設定檔和記錄檔案。
    uid	string	否	目標帳號的uid。預設使用當前叢集所屬帳號。如果需要跨帳號投遞日誌，請配置該參數，並在 alibaba-log-controller 的環境變數中配置ALICLOUD_LOG_ACCOUNT_INFOS={"<uid>":{"accessKeyID":"<your_access_key_id>","accessKeySecret":"<your_access_key_secret>"}}。 說明 該參數僅控制project所屬的帳號，iLogtail資料投遞到該帳號需要另外配置iLogtail的使用者標識，參考配置使用者標識。

  • PiplineConfig

    配置中的各項參數要求與CreateLogtailPipelineConfig介面一致。configName會使用CR的metadata.Name，不可單獨配置。

    參數	資料類型	是否必填	說明

    參數	資料類型	是否必填	說明
    sample	string	否	日誌範例。支援多條日誌，總長度不超過1500位元組。
    global	object	否	全域配置。詳細資料，請參見請求參數。
    inputs	object列表	是	輸入外掛程式列表。詳細資料與外掛程式參數，參見請求參數。 說明 目前，只允許配置 1 個輸入外掛程式。
    processors	object列表	否	處理外掛程式列表。詳細資料與外掛程式參數，請參見請求參數。
    aggregators	object列表	否	彙總外掛程式列表。詳細資料與外掛程式參數，請參見請求參數。
    flushers	object列表	是	輸出外掛程式列表。詳細資料與外掛程式參數，請參見請求參數。 說明 目前，只允許存在 1 個 flusher_sls 外掛程式。
    configTags	map	否	用於標記iLogtail採集配置的自訂標籤。

  • PipelineLogstore

    說明

    name以外的所有參數僅在建立logstore時生效。

    參數	資料類型	是否必填	說明

    參數	資料類型	是否必填	說明
    name	string	是	需要建立的Logstore的名稱。
    queryMode	string	否	目標Logstore的類型。更多資訊，請參見Logstore類型。預設值為standard，可選值： query：查詢型Logstore。 standard：標準型Logstore。
    ttl	int	否	目標Logstore的資料存放區的時間（以天為單位）。更多資訊，請參見資料儲存時間。預設值為30，取值範圍為1~3650，如果配置為3650，表示永久儲存。
    hotTtl	int	否	目標Logstore的熱資料存放區的時間（以天為單位）。更多資訊，請參見智能儲存分層。預設值為0，需要小於ttl且大於等於 7。
    shardCount	int	否	目標Logstore的Shard數量。更多資訊，請參見管理Logstore。預設值為2，取值範圍為1~100。
    maxSplitShard	int	否	目標 Logstore 的最大自動分裂Shard數量。更多資訊，請參見自動分裂Shard。預設值為64，取值範圍為1~256。
    autoSplit	bool	否	目標Logstore是否開啟自動拆分Shard功能。更多資訊，請參見自動分裂Shard。預設值為true。
    telemetryType	string	否	目標 Logstore 的可觀測資料類型。更多資訊，請參見telemetryType。預設值為None，可選值： None：日誌類型。 Metrics：Metrics 類型。
    appendMeta	bool	否	目標Logstore是否開通記錄外網IP功能。更多資訊，請參見記錄外網IP。預設值為true。
    enableTracking	bool	否	目標Logstore是否啟用Web Tracking。更多資訊，請參見WebTracking。預設值為false。
    encryptConf	object	否	目標Logstore的加密配置資訊。更多資訊，請參見通用資料結構。預設值為空白。
    meteringMode	string	否	目標Logstore的計費模式。更多資訊，請參見計費模式。預設值為空白，可選值： ChargeByFunction：按功能計費 ChargeByDataIngest：按寫入量計費。 說明 如果Logstore的queryMode為query，只支援按功能計費。 如果帳號未開通寫入量計費，無法配置為ChargeByDataIngest。

  • PipelineMachineGroup

    參數	資料類型	是否必填	說明

    參數	資料類型	是否必填	說明
    name	string	是	需要與iLogtail採集配置關聯的機器組名。 說明 如果機器組不存在，alibaba-log-controller會自動建立同名的標識型機器組，標識與機器組名相同。詳細資料，參見建立使用者自訂標識機器組。該行為僅在建立機器組時生效。