Simple Log Serviceコンソールを使用してSidecarモードでコンテナテキストログを収集する - Simple Log Service

別のLogtailプロセスを使用してポッド内のすべてのコンテナからログを収集する場合は、SidecarモードでKubernetesクラスターにLogtailをインストールできます。このトピックでは、Sidecarモードでコンテナテキストログを収集する実装、制限、前提条件、および手順について説明します。

実装

サイドカーモード

Sidecarモードでは、各ポッドはLogtailコンテナを実行します。 Logtailを使用して、ポッド内のすべてのコンテナからログを収集できます。この場合、各ポッドからのログ収集は分離されます。
Logtailがポッド内の他のコンテナからログを収集できるようにするには、Logtailコンテナとアプリケーションコンテナが同じボリュームを共有していることを確認します。 Sidecarモードでコンテナログを収集する方法の詳細については、「ロギングエージェントを持つSidecarコンテナ」および「複数のコンテナを持つポッド」をご参照ください。ボリュームの詳細については、「Storage basics」をご参照ください。

前提条件

Logtailコンポーネントがインストールされます。詳細については、「ACKクラスターへのLogtailコンポーネントのインストール」をご参照ください。
Logtailがインストールされているサーバーでは、ポート80と443が有効になります。サーバーがElastic Computing Service (ECS) インスタンスの場合、関連するセキュリティグループルールを再設定してポートを有効にすることができます。セキュリティグループルールの設定方法の詳細については、「セキュリティグループルールの追加」をご参照ください。
ログは、ログを収集するコンテナーで継続的に生成されます。 Logtailは増分ログのみを収集します。 Logtail構成がサーバーに配信されて適用された後にサーバー上のログファイルが更新されない場合、Logtailはファイルからログを収集しません。詳細については、「ログファイルの読み取り」をご参照ください。
ログを収集するファイルは、必要なLogtailコンテナにマウントされているボリュームに保存されます。

ステップ1: Logtailコンテナをビジネスポッドに注入する

Kubernetesクラスターにログインします。
YAMLファイルを作成します。次のコマンドでは、sidecar.yamlはサンプルファイル名です。ビジネス要件に基づいて別のファイル名を指定できます。
```
vim sidecar.yaml
```

YAMLファイルに次のスクリプトを入力し、ビジネス要件に基づいてパラメーターを設定します。

警告

次のYAMLテンプレートで、${} 形式のすべてのプレースホルダーを実際の値に置き換えます。他のパラメータを変更または削除しないでください。

YAMLテンプレート

apiVersion: batch/v1
kind: Job
metadata:
  # Add Job metadata, such as the name and namespace.
  name: ${job_name}
  namespace: ${namespace}
spec:
  template:
    spec:
      restartPolicy: Never
      containers:
        # Configure settings for an application container.
        - name: ${main_container_name}
          image: ${main_container_image}
          command: ["/bin/sh", "-c"]
          args:
            - until [[ -f /tasksite/cornerstone ]]; do sleep 1; done;
              # Replace the command variable with the actual startup command of the application container.
              ${container_start_cmd};
              retcode=$?;
              touch /tasksite/tombstone;
              exit $retcode
          volumeMounts:
            # Mount the log directory of the application container to the shared volume.
            - name: ${shared_volume_name}
              mountPath: ${dir_containing_your_files}
            # Create a mount target to interact with the Logtail container.
            - mountPath: /tasksite
              name: tasksite
         
        # Configure settings for the Logtail container, which is a sidecar container.
        - name: logtail
          image: ${logtail_image}
          command: ["/bin/sh", "-c"]
          args:
            - /etc/init.d/ilogtaild start;
              sleep 10; # Wait until the Logtail configuration is downloaded.
              touch /tasksite/cornerstone;
              until [[ -f /tasksite/tombstone ]]; do sleep 1; done;
              sleep 10; # Wait until Logtail finishes sending logs.
              /etc/init.d/ilogtaild stop;
          livenessProbe:
            exec:
              command:
                - /etc/init.d/ilogtaild
                - status
            initialDelaySeconds: 30
            periodSeconds: 30
          env:
            # Specify a time zone. Specify the time zone in the format of Region/City based on the region where the Kubernetes cluster resides. For example, if your cluster resides in the Chinese mainland, set the time zone to Asia/Shanghai. 
            # If the specified time zone is invalid, the time labels of raw logs and processed logs may not match. As a result, logs may be archived based on an incorrect point in time. 
            - name: TZ   
              value: "${timezone}"
            - name: ALIYUN_LOGTAIL_USER_ID
              value: "${your_aliyun_user_id}"
            - name: ALIYUN_LOGTAIL_USER_DEFINED_ID
              value: "${your_machine_group_user_defined_id}"
            - name: ALIYUN_LOGTAIL_CONFIG
              value: "/etc/ilogtail/conf/${your_region_config}/ilogtail_config.json"
            # Specify the pod environment information as log labels.
            - name: "ALIYUN_LOG_ENV_TAGS"
              value: "_pod_name_|_pod_ip_|_namespace_|_node_name_|_node_ip_"
            # Obtain the pod and node information.
            - name: "_pod_name_"
              valueFrom:
                fieldRef:
                  fieldPath: metadata.name
            - name: "_pod_ip_"
              valueFrom:
                fieldRef:
                  fieldPath: status.podIP
            - name: "_namespace_"
              valueFrom:
                fieldRef:
                  fieldPath: metadata.namespace
            - name: "_node_name_"
              valueFrom:
                fieldRef:
                  fieldPath: spec.nodeName
            - name: "_node_ip_"
              valueFrom:
                fieldRef:
                  fieldPath: status.hostIP
          volumeMounts:
            # Mount the log directory of the Logtail container to the shared volume.
            - name: ${shared_volume_name}
              mountPath: ${dir_containing_your_files}
            # Create a mount target to interact with the application container.
            - mountPath: /tasksite
              name: tasksite
      volumes:
        # Define a shared volume that is empty for log storage.
        - name: ${shared_volume_name}
          emptyDir: {}
        # Define a volume for containers to communicate with each other.
        - name: tasksite
          emptyDir:
            medium: Memory

キーパラメーター

変数	説明
`${your_aliyun_user_id}`	Alibaba CloudアカウントのID。詳細については、「ユーザー識別子の設定」をご参照ください。
`${your_machine_group_user_defined_id}`	マシングループのカスタム識別子。例: `nginx-log-sidecar` 重要カスタム識別子は、プロジェクトが存在するリージョンで一意である必要があります。
`${your_region_config}`	プロジェクトのリージョンIDとネットワークタイプ。リージョンの詳細については、「LinuxサーバーへのLogtailのインストール」をご参照ください。インターネット経由でプロジェクトにログを収集する場合は、`region-Internet`形式で値を指定します。たとえば、プロジェクトが中国 (杭州) リージョンにある場合は、cn-Hangzhou-internetを指定します。 Alibaba Cloudの内部ネットワークを介してプロジェクトにログを収集する場合は、`region`形式で値を指定します。たとえば、プロジェクトが中国 (杭州) リージョンにある場合は、cn-Hangzhouを指定します。
`${logtail_image}`	Logtailイメージのアドレス。
`${shared_volume_name}`	ボリュームの名前。ビジネス要件に基づいて名前を指定できます。重要 `volumeMounts`ノードの`name`パラメーターの値と`volumes`ノードの`name`パラメーターの値は同じである必要があります。これにより、Logtailコンテナとアプリケーションコンテナに同じボリュームが確実にマウントされます。
`${dir_containing_your_files}`	マウントパス。収集するコンテナテキストログのディレクトリを指定します。

例

apiVersion: batch/v1
kind: Job
metadata:
  # Add Job metadata, such as the name and namespace.
  name: nginx-log-sidecar-demo
  namespace: default
spec:
  template:
    metadata:
      # Add pod metadata, such as labels.
      labels:
        app: nginx-logger
    spec:
      restartPolicy: Never
      containers:
        # Configure settings for an application container.
        - name: nginx
          image: nginx-test
          command: ["/bin/sh", "-c"]
          args:
            - until [[ -f /tasksite/cornerstone ]]; do sleep 1; done;
              # Replace the command variable with the actual startup command of the application container.
              nginx -g 'daemon off;';
              retcode=$?;
              touch /tasksite/tombstone;
              exit $retcode
          volumeMounts:
            # Mount the log directory of the application container to the shared volume.
            - name: nginx-logs
              mountPath: /var/log/nginx
            # Create a mount target to interact with the Logtail container.
            - mountPath: /tasksite
              name: tasksite
          # Define resource requests and limits for the application container.
          resources:
            limits:
              cpu: 500m
              memory: 512Mi
            requests:
              cpu: 10m
              memory: 30Mi
        # Configure settings for the Logtail container, which is a sidecar container.
        - name: logtail
          image: registry.cn-hangzhou.aliyuncs.com/log-service/logtail:v1.5.1.0-aliyun
          command: ["/bin/sh", "-c"]
          args:
            - /etc/init.d/ilogtaild start;
              sleep 10; # Wait until the Logtail configuration is downloaded.
              touch /tasksite/cornerstone;
              until [[ -f /tasksite/tombstone ]]; do sleep 1; done;
              sleep 10; # Wait until Logtail finishes sending logs.
              /etc/init.d/ilogtaild stop;
          livenessProbe:
            exec:
              command:
                - /etc/init.d/ilogtaild
                - status
            initialDelaySeconds: 30
            periodSeconds: 30
          resources:
            limits:
              cpu: 500m
              memory: 512Mi
            requests:
              cpu: 10m
              memory: 30Mi
          env:
            # Specify a time zone. Specify the time zone in the format of Region/City based on the region where the Kubernetes cluster resides. For example, if your cluster resides in the Chinese mainland, set the time zone to Asia/Shanghai. 
            # If the specified time zone is invalid, the time labels of raw logs and processed logs may not match. As a result, logs may be archived based on an incorrect point in time. 
            - name: TZ   
              value: "Asia/Shanghai"
            # Replace the environment variables with the actual values.
            - name: ALIYUN_LOGTAIL_USER_ID
              value: "20*******28"
            - name: ALIYUN_LOGTAIL_USER_DEFINED_ID
              value: "nginx-log-sidecar"
            - name: ALIYUN_LOGTAIL_CONFIG
              value: "/etc/ilogtail/conf/cn-hangzhou-internet/ilogtail_config.json"
            # Specify the pod environment information as log labels.
            - name: "ALIYUN_LOG_ENV_TAGS"
              value: "_pod_name_|_pod_ip_|_namespace_|_node_name_|_node_ip_"
            # Obtain the pod and node information.
            - name: "_pod_name_"
              valueFrom:
                fieldRef:
                  fieldPath: metadata.name
            - name: "_pod_ip_"
              valueFrom:
                fieldRef:
                  fieldPath: status.podIP
            - name: "_namespace_"
              valueFrom:
                fieldRef:
                  fieldPath: metadata.namespace
            - name: "_node_name_"
              valueFrom:
                fieldRef:
                  fieldPath: spec.nodeName
            - name: "_node_ip_"
              valueFrom:
                fieldRef:
                  fieldPath: status.hostIP
          volumeMounts:
            # Mount the log directory of the Logtail container to the shared volume.
            - name: nginx-logs
              mountPath: /var/log/nginx
            # Create a mount target to interact with the application container.
            - mountPath: /tasksite
              name: tasksite
      volumes:
        # Define a shared volume that is empty for log storage.
        - name: nginx-logs
          emptyDir: {}
        # Define a volume for containers to communicate with each other.
        - name: tasksite
          emptyDir:
            medium: Memory

次のコマンドを実行して、sidecar.yamlファイルの設定を適用します。
次のコマンドでは、sidecar.yamlはサンプルファイル名です。ビジネス要件に基づいて別のファイル名を指定できます。
```
kubectl apply -f sidecar.yaml
```

Logtail構成の作成

警告

CustomResourceDefinition (CRD) を使用してLogtail設定を作成し、Simple Log ServiceコンソールでLogtail設定を変更した場合、変更はCRDと同期されません。 CRDを使用して作成されたLogtail構成を変更する場合は、CRDを変更する必要があります。 Simple Log Serviceコンソールで設定を変更すると、Logtail設定の不整合が発生する可能性があります。

コンソール

Simple Log Serviceコンソール.
[クイックデータのインポート] セクションで、[データのインポート] をクリックします。 [データのインポート] ダイアログボックスで、[Kubernetes-ファイル] カードをクリックします。
必要なプロジェクトとLogstoreを選択します。 [次へ] をクリックします。この例では、Logtailコンポーネントのインストールに使用するプロジェクトと、作成するLogstoreを選択します。
[マシングループの設定] ステップで、次の操作を実行します。
1. ビジネス要件に基づいて、次のいずれかの設定を使用します。
  - Kubernetesクラスター > ACK Daemonset
  - Kubernetesクラスター > DaemonSetモードの自己管理クラスター
    重要
    以降の設定は、前述の設定によって異なります。
2. 必要なマシングループが [応用サーバーグループ] セクションに追加されていることを確認します。そして、[次へ] をクリックします。 Container Service for Kubernetes (ACK) クラスターにLogtailコンポーネントをインストールすると、Simple Log Serviceはk8s-group-${your_k8s_cluster_id} という名前のマシングループを自動的に作成します。このマシングループを直接使用できます。
  重要
  - マシングループを作成する場合は、[マシングループの作成] をクリックします。表示されるパネルで、パラメーターを設定してマシングループを作成します。詳細については、「ACKコンソールでウィザードを使用してアプリケーションを作成し、Simple Log Serviceを設定する」をご参照ください。
  - マシングループのハートビートステータスがFAILの場合、[自動再試行] をクリックします。問題が解決しない場合は、ホスト環境のLogtailマシングループに関連するエラーのトラブルシューティングを行うにはどうすればよいですか?

Logtail設定を作成し、[次へ] をクリックします。 Simple Log Serviceは、Logtail設定の作成後にログの収集を開始します。

説明

Logtail設定を有効にするには、最大3分かかります。

グローバル設定

パラメーター	説明
設定名	Logtail設定の名前を入力します。名前はプロジェクト内で一意である必要があります。 Logtail設定を作成した後、Logtail設定の名前を変更することはできません。
ログトピックの種類	ログトピックを生成する方法を選択します。詳細については、「ログトピック」をご参照ください。マシングループトピック: マシングループのトピックがログトピックとして使用されます。異なるマシングループのログを区別する場合は、このオプションを選択します。ファイルパスの抽出: カスタム正規表現を指定する必要があります。正規表現に一致するファイルパスの一部がログトピックとして使用されます。異なるソースのログを区別する場合は、このオプションを選択します。カスタム: カスタムログトピックを指定する必要があります。
高度なパラメータ	オプションです。グローバル設定に関連する詳細パラメーターを設定します。詳細については、「CreateLogtailPipelineConfig」をご参照ください。

入力設定

パラメーター	説明
Logtail展開モード	Logtailのデプロイモードを選択します。この例では、Daemonsetが選択されています。
ファイルパスタイプ	ログの収集に使用するファイルパスの種類を選択します。有効な値: コンテナー内のパスとホストパス。 hostPathボリュームがコンテナーにマウントされていて、コンテナーホスト上のマッピングされたファイルパスに基づいてファイルからログを収集する場合は、このパラメーターをホストパスに設定します。他のシナリオでは、このパラメーターを [コンテナーのパス] に設定します。
ファイルパス	必要なコンテナーがLinuxホストで実行されている場合は、スラッシュ (/) で始まるパスを指定します。例: `/apsara/nuwa//app.Log` 必要なコンテナーがWindowsホストで実行されている場合は、ドライブ文字で始まるパスを指定します。例: `C:\Program Files\Intel\\.Log` 正確なディレクトリと正確な名前を指定できます。ワイルドカード文字を使用して、ディレクトリと名前を指定することもできます。詳細については、「ワイルドカードの一致」をご参照ください。このパラメーターを設定すると、アスタリスク () または疑問符 (?) のみをワイルドカード文字として使用できます。 Simple Log Serviceは、指定されたディレクトリのすべてのレベルで、指定された条件に一致するログファイルをスキャンします。例： `/apsara/nuwa/*/.log`を指定した場合、Simple Log Serviceは、名前の接尾辞が `/apsara/nuwa`ディレクトリとディレクトリの再帰サブディレクトリにログインします。を指定した場合`/var/logs/app_//.log`Simple Log Serviceは、次の条件を満たすログファイルからログを収集します。`. ログ`. ファイルは、`/var/logs`ディレクトリ下のサブディレクトリ、またはサブディレクトリの再帰サブディレクトリに格納されます。サブディレクトリの名前は、`app_` パターンと一致します。 `/var/log/nginx//access ` を指定した場合、Simple Log Serviceは、名前が `/var/log/nginx`ディレクトリの`access`で始まるログファイルと、ディレクトリの再帰的なサブディレクトリからログを収集します。
最大ディレクトリ監視深度	監視するサブディレクトリのレベルの最大数を指定します。サブディレクトリは、指定したログファイルディレクトリにあります。このパラメーターは、ファイルパスの値に含まれるワイルドカード文字 `**`と一致するサブディレクトリのレベルを指定します。値が0の場合は、指定したログファイルディレクトリのみを監視することを指定します。警告最小要件に基づいてこのパラメーターを設定することを推奨します。大きな値を指定すると、Logtailはより多くのモニタリングリソースを消費し、収集待ち時間を引き起こす可能性があります。
Container Metadataプレビューの有効化	[Container Metadata Previewの有効化] をオンにすると、Logtail設定の作成後に、一致したコンテナ情報と完全なコンテナ情報を含むコンテナメタデータを表示できます。
コンテナフィルタリング	Logtailのバージョン Logtailのバージョンが1.0.34より前の場合、環境変数とコンテナーラベルのみを使用してコンテナーをフィルター処理できます。 Logtailのバージョンが1.0.34以降の場合、異なるレベルのKubernetes情報を使用してコンテナをフィルタリングすることを推奨します。情報には、ポッド名、名前空間、コンテナ名、およびコンテナラベルが含まれます。フィルター条件重要コンテナラベルは、docker inspectコマンドを実行して取得します。コンテナラベルはKubernetesラベルとは異なります。詳細については、「コンテナーラベルの取得」をご参照ください。環境変数は、コンテナーを起動するように設定されている環境変数と同じです。詳細については、「環境変数の取得」をご参照ください。 Kubernetes名前空間とコンテナー名は、コンテナーラベルにマップできます。名前空間のラベルは`io.kubernetes.pod.nameスペース`です。コンテナ名のラベルは`io.kubernetes.container.name`です。 2つのラベルを使用してコンテナをフィルタリングすることを推奨します。たとえば、ポッドの名前空間は`backend-prod`で、ポッド内のコンテナーの名前は`worker-server`です。ワーカーサーバーコンテナのログを収集する場合は、コンテナラベルホワイトリストに`io.kubernetes.pod.nameスペース: backend-prod`または`io.kubernetes.container.name : worker-server`を指定できます。 2つのラベルがビジネス要件を満たさない場合は、環境変数ホワイトリストまたは環境変数ブラックリストを使用してコンテナをフィルタリングできます。 K8sポッド名レギュラーマッチングポッド名を入力します。ポッド名は、テキストログの収集元となるコンテナを指定します。正規表現マッチングがサポートされています。たとえば、`^(nginx-log-demo.)$` を指定すると、nginx-log-demoで始まる名前のポッド内のすべてのコンテナが一致します。 K8s名前空間正規マッチング* 名前空間名を入力します。名前空間名は、テキストログの収集元となるコンテナを指定します。正規表現マッチングがサポートされています。たとえば、`^(default \| nginx)$` を指定すると、nginx名前空間とdefault名前空間のすべてのコンテナーが一致します。 K8sコンテナ名レギュラーマッチングコンテナ名を入力します。コンテナ名は、テキストログの収集元となるコンテナを指定します。正規表現マッチングがサポートされています。 Kubernetesコンテナ名はspec.containersで定義されています。たとえば、`^(container-test)$` を指定すると、名前がcontainer-testであるすべてのコンテナが一致します。容器ラベルのホワイトリストコンテナーラベルのホワイトリストを設定します。ホワイトリストは、テキストログの収集元となるコンテナを指定します。注 Label Nameパラメーターに重複する値を指定しないでください。重複する値を指定した場合は、1つの値のみが有効になります。 [ラベル名] パラメーターに値を指定し、[ラベル値] パラメーターに値を指定しない場合、指定したラベル名がコンテナーラベルに含まれるコンテナーが一致します。 [ラベル名] パラメーターと [ラベル値] パラメーターに値を指定した場合、指定された `[ラベル名: ラベル値]` を含むコンテナラベルを持つコンテナが一致します。デフォルトでは、Label Valueパラメーターの値に対して文字列照合が実行されます。コンテナは、コンテナラベルの値がLabel Valueパラメーターの値と同じである場合にのみ一致します。ラベル値パラメーターに、キャレット `(^)` で始まり、ドル記号 `($)` で終わる値を指定した場合、正規表現マッチングが実行されます。たとえば、Label Nameパラメーターを`app`に設定し、Label Valueパラメーターを `^(test1 \| test2)$` に設定した場合、コンテナラベルに`app:test1`または`app:test2`が含まれるコンテナが一致します。キーと値のペアは、OR演算子を使用して評価されます。指定されたキーと値のペアの1つで構成されるコンテナーラベルがコンテナーにある場合、コンテナーは照合されます。 Container Labelブラックリストコンテナーラベルブラックリストを設定します。ブラックリストは、テキストログが収集されないコンテナを指定します。注 Label Nameパラメーターに重複する値を指定しないでください。重複する値を指定した場合は、1つの値のみが有効になります。 [ラベル名] パラメーターに値を指定し、[ラベル値] パラメーターに値を指定しない場合、指定したラベル名がコンテナーラベルに含まれるコンテナーは除外されます。 [ラベル名] パラメーターと [ラベル値] パラメーターに値を指定した場合、指定された `[ラベル名: ラベル値]` がコンテナーラベルに含まれるコンテナーは除外されます。デフォルトでは、Label Valueパラメーターの値に対して文字列照合が実行されます。コンテナラベルの値がラベル値パラメーターの値と同じである場合にのみ、コンテナが除外されます。ラベル値パラメーターに、キャレット `(^)` で始まり、ドル記号 `($)` で終わる値を指定した場合、正規表現マッチングが実行されます。たとえば、Label Nameパラメーターを`app`に設定し、Label Valueパラメーターを `^(test1 \| test2)$` に設定した場合、コンテナラベルにapp:test1またはapp:test2が含まれるコンテナは除外されます。キーと値のペアは、OR演算子を使用して評価されます。指定されたキーと値のペアのいずれかで構成されるコンテナーラベルがコンテナーに含まれている場合、コンテナーは除外されます。環境変数ホワイトリスト環境変数ホワイトリストを設定します。ホワイトリストは、テキストログの収集元となるコンテナを指定します。環境変数名パラメーターに値を指定し、環境変数値パラメーターに値を指定しない場合、指定された環境変数名が環境変数に含まれるコンテナーが一致します。 [環境変数名] パラメーターと [環境変数値] パラメーターの値を指定した場合、環境変数に指定された環境変数名: 環境変数値が含まれるコンテナーが一致します。デフォルトでは、環境変数値パラメーターの値に対して文字列照合が実行されます。コンテナは、環境変数の値が環境変数値パラメーターの値と同じである場合にのみ一致します。環境変数値パラメーターに、キャレット `(^)` で始まり、ドル記号 `($)` で終わる値を指定した場合、正規表現マッチングが実行されます。たとえば、環境変数名パラメーターを`NGINX_SERVICE_PORT`に設定し、環境変数値パラメーターを `^(80 \| 6379)$` に設定した場合、ポート番号が80 6379のコンテナーが一致します。キーと値のペアは、OR演算子を使用して評価されます。指定されたキーと値のペアの1つで構成される環境変数がコンテナーにある場合、コンテナーは照合されます。環境変数ブラックリスト環境変数ブラックリストを設定します。ブラックリストは、テキストログが収集されないコンテナを指定します。環境変数名パラメーターに値を指定し、環境変数値パラメーターに値を指定しない場合、指定された環境変数名が環境変数に含まれるコンテナーは除外されます。環境変数名および環境変数値パラメーターに値を指定した場合、指定された環境変数名: 環境変数値が環境変数に含まれるコンテナーは除外されます。デフォルトでは、環境変数値パラメーターの値に対して文字列照合が実行されます。コンテナは、環境変数の値が環境変数の値パラメーターの値と同じである場合にのみ除外されます。環境変数値パラメーターに、キャレット `(^)` で始まり、ドル記号 `($)` で終わる値を指定した場合、正規表現マッチングが実行されます。たとえば、環境変数名パラメーターを`NGINX_SERVICE_PORT`に設定し、環境変数値パラメーターを `^(80 \| 6379)$` に設定した場合、ポート番号が80 6379のコンテナーは除外されます。キーと値のペアは、OR演算子を使用して評価されます。指定されたキーと値のペアの1つで構成される環境変数がコンテナーにある場合、コンテナーは除外されます。 Kubernetes Podラベルホワイトリスト Kubernetesポッドラベルのホワイトリストを設定します。ホワイトリストは、テキストログの収集元となるコンテナを指定します。 [ラベル名] パラメーターに値を指定し、[ラベル値] パラメーターに値を指定しないと、指定したラベル名がポッドラベルに含まれるコンテナーが一致します。 [ラベル名] パラメーターと [ラベル値] パラメーターに値を指定した場合、指定された `[ラベル名: ラベル値]` を含むポッドラベルを持つコンテナーが一致します。デフォルトでは、Label Valueパラメーターの値に対して文字列照合が実行されます。コンテナーは、ポッドラベルの値がラベル値パラメーターの値と同じである場合にのみ一致します。キャレット `(^)` で始まり、ドル記号 `($)` で終わる値を指定した場合、正規表現マッチングが実行されます。たとえば、Label Nameパラメーターを`environment`に設定し、Label Valueパラメーターを `^(dev \| pre)$` に設定した場合、ポッドラベルに`environment:dev`または`environment:pre`が含まれるコンテナーが一致します。キーと値のペアは、OR演算子を使用して評価されます。指定されたキーと値のペアのいずれかで構成されるポッドラベルがコンテナーに含まれている場合、コンテナーは照合されます。 Kubernetesポッドラベルブラックリスト Kubernetesポッドラベルブラックリストを設定します。ブラックリストは、テキストログが収集されないコンテナを指定します。 [ラベル名] パラメーターに値を指定し、[ラベル値] パラメーターに値を指定しない場合、指定されたラベル名がポッドラベルに含まれるコンテナーは除外されます。 [ラベル名] パラメーターと [ラベル値] パラメーターに値を指定すると、指定されたラベル名: ラベル値がポッドのラベルに含まれるコンテナーが除外されます。デフォルトでは、Label Valueパラメーターの値に対して文字列照合が実行されます。コンテナーは、ポッドラベルの値がラベル値パラメーターの値と同じである場合にのみ除外されます。ラベル値パラメーターに、キャレット `(^)` で始まり、ドル記号 `($)` で終わる値を指定した場合、正規表現マッチングが実行されます。たとえば、Label Nameパラメーターを`environment`に設定し、Label Valueパラメーターを `^(dev \| pre)$` に設定した場合、ポッドラベルに`environment:dev`または`environment:pre`が含まれるコンテナーは除外されます。キーと値のペアは、OR演算子を使用して評価されます。指定されたキーと値のペアのいずれかで構成されるポッドラベルがコンテナーに含まれている場合、コンテナーは除外されます。
ログタグの強化	環境変数とポッドラベルを使用してログタグを指定します。
ファイルのエンコード	ログファイルのエンコード形式を選択します。
最初のコレクションサイズ	Logtailがファイルからログを最初に収集するときに、Logtailがログファイルから収集できるデータのサイズを指定します。 First Collection Sizeのデフォルト値は1024です。 (単位：KB) ファイルサイズが1,024 KB未満の場合、Logtailはファイルの先頭からデータを収集します。ファイルサイズが1,024 KBを超える場合、Logtailはファイル内の最後の1,024 KBのデータを収集します。ビジネス要件に基づいて最初のコレクションサイズを指定できます。有効な値: 0 ~ 10485760 (単位：KB)
コレクションブラックリスト	[コレクションブラックリスト] をオンにする場合、ブラックリストを設定して、Simple Log Serviceがログを収集するときにスキップするディレクトリまたはファイルを指定する必要があります。正確なディレクトリとファイル名を指定できます。ワイルドカード文字を使用して、ディレクトリとファイル名を指定することもできます。このパラメーターを設定すると、アスタリスク () または疑問符 (?) のみをワイルドカード文字として使用できます。重要ワイルドカード文字を使用してファイルパスを設定し、指定したディレクトリ内の一部のディレクトリをスキップする場合は、Collection Blacklistを設定して完全なディレクトリを入力する必要があります。たとえば、[ファイルパス]* を `/home/admin/app /log/.log`に設定し、`/home/admin/app1 ` ディレクトリ内のすべてのサブディレクトリをスキップする場合は、[ディレクトリブラックリスト]* を選択し、[ディレクトリ名] フィールドに `/home/admin/app1 /` と入力する必要があります。 `/home/admin/app1 ` と入力した場合、ブラックリストは有効になりません。ブラックリストが使用されているとき、計算オーバーヘッドが生成される。ブラックリストには最大10エントリを追加することを推奨します。スラッシュ (/) で終わるディレクトリパスは指定できません。たとえば、パスを `/home/admin/dir1/` に設定した場合、ディレクトリのブラックリストは有効になりません。次の種類のブラックリストがサポートされています: ファイルパスブラックリスト、ファイルブラックリスト、およびディレクトリブラックリスト。ファイルパスブラックリスト [File Path Blacklist] を選択し、[File Path Name] フィールドに `/home/admin/private .log`と入力すると、名前の接頭辞がprivate、接尾辞がであるすべてのファイルが表示されます。`/home/admin/` ディレクトリへのログインはスキップされます。 [File Path Blacklist]* を選択し、[File Path Name] フィールドに `/home/admin/private /_inner.log`と入力した場合、`/home/admin/` ディレクトリのプレフィックスがprivateであるサブディレクトリの_inner.logで名前がサフィックスされているファイルはすべてスキップされます。たとえば、`/home/admin/private/app_inner.log`ファイルはスキップされますが、`/home/admin/private/app.log`ファイルはスキップされません。ファイルブラックリスト [File Blacklist] を選択し、[File Name] フィールドに`app_inner.log`と入力すると、名前が`app_inner.log`であるすべてのファイルがスキップされます。ディレクトリブラックリスト [Directory Blacklist] を選択し、[Directory Name] フィールドに `/home/admin/dir1`と入力すると、`/home/admin/dir1`ディレクトリ内のすべてのファイルがスキップされます。 [Directory Blacklist] を選択し、[Directory Name] フィールドに `/home/admin/dir ` と入力した場合、`/home/admin/` ディレクトリの名前の先頭にdirが付いているすべてのサブディレクトリのファイルはスキップされます。 [Directory Blacklist]* を選択し、[Directory Name] フィールドに `/home/admin/*/dir`と入力した場合、`/home/admin/` ディレクトリの各第2レベルのサブディレクトリのdirサブディレクトリにあるすべてのファイルがスキップされます。たとえば、`/home/admin/a/dir`ディレクトリのファイルはスキップされますが、`/home/admin/a/b/dir`ディレクトリのファイルはスキップされません。
ファイルの複数回の収集を許可	デフォルトでは、ログファイルからログを収集するために使用できるLogtail設定は1つだけです。複数のLogtail設定を使用してログファイルからログを収集するには、[ファイルの複数回の収集を許可] をオンにします。
高度なパラメータ	Logtail設定の特定のパラメーターを手動で設定する必要があります。詳細については、「Logtailパイプライン設定の作成」をご参照ください。

プロセッサ構成

パラメーター	説明
ログのサンプル	実際のシナリオから収集されたサンプルログを追加します。サンプルログを使用して、ログ処理に関連するパラメーターを簡単に設定できます。複数のサンプルログを追加できます。ログの長さの合計が1,500文字を超えないようにしてください。 `[2023-10-01T10:30:01,000] [情報] java.lang.Exception: 例外が発生しました at TestPrintStackTrace.f(TestPrintStackTrace.java:3) at TestPrintStackTrace.g(TestPrintStackTrace.java:7) TestPrintStackTrace.main(TestPrintStackTrace.java:16)`
マルチラインモード	複数行のログの種類を指定します。複数行のログは、複数の連続した行にまたがっています。このパラメーターを設定して、ログファイル内の各複数行ログを識別できます。カスタム: 複数行のログは、Regex to Match First lineの値に基づいて識別されます。複数行のJSON: 各JSONオブジェクトは複数行に展開されます。例： `{ "name": "John Doe" 、 "年齢": 30、 "address": { "city": "New York", "国": "アメリカ" } }` 分割が失敗した場合の処理方法を設定します。スレッド "main" java.lang.NullPointerExceptionの `例外 at com.example.MyClass.methodA(MyClass.java:12) at com.example.MyClass.methodB(MyClass.java:34) at com.example.MyClass.main(MyClass.java: 1/2 0)` 上記のサンプルログの場合、Simple log Serviceはログを破棄するか、ログの分割に失敗した場合に1行ずつログとして保持します。破棄: ログは破棄されます。 1行の保持: ログテキストの各行はログとして保持されます。合計4つのログが保持されます。
処理方法	[プロセッサ] を選択します。データ処理用にネイティブプラグインと拡張プラグインを追加できます。データ処理用のLogtailプラグインの詳細については、「Logtailプラグインの概要」をご参照ください。重要データ処理のLogtailプラグインの制限があります。詳細については、Simple Log Serviceコンソールの画面上の手順を参照してください。 V2.0より前のLogtail ネイティブプラグインと拡張プラグインを同時に追加することはできません。ネイティブプラグインは、テキストログの収集にのみ使用できます。ネイティブプラグインを追加するときは、次の項目に注意してください。データ処理には、データ解析 (Regexモード) 、データ解析 (デリミターモード) 、データ解析 (JSONモード) 、データ解析 (NGINXモード) 、データ解析 (Apacheモード) 、データ解析 (IISモード) のいずれかを最初のプラグインとして追加する必要があります。最初のプラグインを追加した後、1つのTime Parsingプラグイン、1つのData Filteringプラグイン、および複数のData Maskingプラグインを追加できます。拡張プラグインは、ネイティブプラグインを追加した後にのみ追加できます。 Logtail V2.0 データ処理用のネイティブプラグインを任意に組み合わせることができます。ネイティブプラグインと拡張プラグインを組み合わせることができます。拡張プラグインがネイティブプラグインの後に追加されていることを確認します。

インデックスの作成とプレビュー 次に、[次へ] をクリックします。デフォルトでは、Simple Log Serviceでフルテキストインデックスが有効になっています。手動モードまたは自動モードで収集したログに基づいてフィールドインデックスを設定することもできます。自動モードでフィールドインデックスを設定するには、[自動インデックス生成] をクリックします。これにより、Simple Log Serviceは自動的にフィールドインデックスを作成します。詳細については、「インデックスの作成」をご参照ください。
重要
ログのすべてのフィールドをクエリする場合は、フルテキストインデックスを使用することを推奨します。特定のフィールドのみをクエリする場合は、フィールドインデックスを使用することを推奨します。これは、インデックストラフィックを減らすのに役立ちます。フィールドを分析する場合は、フィールドインデックスを作成する必要があります。分析のために、クエリ文にSELECT文を含める必要があります。
[クエリログ] をクリックします。次に、Logstoreのクエリと分析ページにリダイレクトされます。
インデックスが有効になるまで約1分待つ必要があります。次に、収集したログを [生ログ] タブで表示できます。詳細については、「ログの照会と分析」をご参照ください。

(推奨) CRD - AliyunPipelineConfig

Logtail設定の作成

重要

AliyunPipelineConfig CRDからCRを作成するには、alibaba-log-controller Deploymentのイメージバージョンが0.5.0以降であることを確認します。

Logtail設定を作成するには、AliyunPipelineConfig CRDからCRを作成するだけです。 Logtail設定が作成されると、自動的に適用されます。 CRに基づいて作成されたLogtail設定を変更する場合は、CRを変更する必要があります。

クラスターのkubeconfigファイルを取得し、kubectlを使用してクラスターに接続します。
次のコマンドを実行して、YAMLファイルを作成します。
次のコマンドで、cube.yamlはサンプルファイル名です。ビジネス要件に基づいて別のファイル名を指定できます。
```
vim cube.yaml
```

YAMLファイルに次のスクリプトを入力し、ビジネス要件に基づいてパラメーターを設定します。

重要

configNameパラメーターの値は、Logtailコンポーネントのインストールに使用するSimple Log Serviceプロジェクトで一意である必要があります。
Logtail設定ごとにCRを設定する必要があります。複数のCRが同じLogtail設定に関連付けられている場合、最初のCR以外のCRは有効になりません。
AliyunPipelineConfig CRDに関連するパラメーターの詳細については、「 (推奨) AliyunPipelineConfigを使用してLogtail構成を管理する」をご参照ください。この例では、Logtail設定にテキストログ収集の設定が含まれています。詳細については、CreateLogtailPipelineConfigをご参照ください。
config.flushers.Logstoreパラメーターで指定されたLogstoreが存在することを確認します。 spec.logstoreパラメーターを設定して、Logstoreを自動的に作成できます。

すべてのコンテナから単一行のテキストログを収集する

この例では、クラスター内のすべてのコンテナーから単一行のテキストログを収集するために、example-k8sファイルという名前のLogtail設定が作成されます。ファイルはtest.LOGで、パスは /data/logs/app_1です。収集されたログは、k8s-log-testという名前のプロジェクトに属するk8s-fileという名前のLogstoreに保存されます。

apiVersion: telemetry.alibabacloud.com/v1alpha1
# Create a CR from the ClusterAliyunPipelineConfig CRD.
kind: ClusterAliyunPipelineConfig
metadata:
  # Specify the name of the resource. The name must be unique in the current Kubernetes cluster. The name is the same as the name of the Logtail configuration that is created.
  name: example-k8s-file
spec:
  # Specify the project to which logs are collected.
  project:
    name: k8s-log-test
  # Create a Logstore to store logs.
  logstores:
    - name: k8s-file
  # Configure the parameters for the Logtail configuration.
  config:
    # Configure the Logtail input plug-ins.
    inputs:
      # Use the input_file plug-in to collect text logs from containers.
      - Type: input_file
        # Specify the file path in the containers.
        FilePaths:
          - /data/logs/app_1/**/test.LOG
        # Enable the container discovery feature. 
        EnableContainerDiscovery: true
    # Configure the Logtail output plug-ins.
    flushers:
      # Use the flusher_sls plug-in to send logs to a specific Logstore. 
      - Type: flusher_sls
        # Make sure that the Logstore exists.
        Logstore: k8s-file
        # Make sure that the endpoint is valid.
        Endpoint: cn-hangzhou.log.aliyuncs.com
        Region: cn-hangzhou
        TelemetryType: logs

特定のコンテナから単一行のテキストログを収集する

この例では、example-k8s-fileという名前のLogtail設定が作成され、クラスター内のappを含む名前のコンテナーから1行のテキストログが収集されます。ファイルはtest.LOGで、パスは /data/logs/app_1です。

収集されたログは、k8s-log-testという名前のプロジェクトに属するk8s-fileという名前のLogstoreに保存されます。

apiVersion: telemetry.alibabacloud.com/v1alpha1
# Create a CR from the ClusterAliyunPipelineConfig CRD.
kind: ClusterAliyunPipelineConfig
metadata:
  # Specify the name of the resource. The name must be unique in the current Kubernetes cluster. The name is the same as the name of the Logtail configuration that is created.
  name: example-k8s-file
spec:
  # Specify the project to which logs are collected.
  project:
    name: k8s-log-test
  # Create a Logstore to store logs.
  logstores:
    - name: k8s-file
  # Configure the parameters for the Logtail configuration.
  config:
    # Configure the Logtail input plug-ins.
    inputs:
      # Use the input_file plug-in to collect text logs from containers.
      - Type: input_file
        # Specify the file path in the containers.
        FilePaths:
          - /data/logs/app_1/**/test.LOG
        # Enable the container discovery feature. 
        EnableContainerDiscovery: true
        # Add conditions to filter containers. Multiple conditions are evaluated by using a logical AND. 
        ContainerFilters:
          # Specify the namespace of the pod to which the required containers belong. Regular expression matching is supported. 
          K8sNamespaceRegex: default
          # Specify the name of the required containers. Regular expression matching is supported. 
          K8sContainerRegex: ^(.*app.*)$
    # Configure the Logtail output plug-ins.
    flushers:
      # Use the flusher_sls plug-in to send logs to a specific Logstore. 
      - Type: flusher_sls
        # Make sure that the Logstore exists.
        Logstore: k8s-file
        # Make sure that the endpoint is valid.
        Endpoint: cn-hangzhou.log.aliyuncs.com
        Region: cn-hangzhou
        TelemetryType: logs

すべてのコンテナから複数行のテキストログを収集し、正規表現を使用してログを解析する

この例では、クラスター内のすべてのコンテナーから複数行のテキストログを収集するために、example-k8sファイルという名前のLogtail設定が作成されます。ファイルはtest.LOGで、パスは /data/logs/app_1です。収集されたログはJSONモードで解析され、k8s-log-testという名前のプロジェクトに属するk8s-fileという名前のLogstoreに保存されます。

次の例で提供されるサンプルログは、{"content": "2024-06-19 16:35:00 INFOテストログ \nline-1\nline-2\nend"} の形式でinput_fileプラグインによって読み取られます。次に、ログは正規表現に基づいて {"time": "2024-06-19 16:35:00" 、"level": "INFO" 、"msg": "test log\nline-1\nline-2\nend"} に解析されます。

apiVersion: telemetry.alibabacloud.com/v1alpha1
# Create a CR from the ClusterAliyunPipelineConfig CRD.
kind: ClusterAliyunPipelineConfig
metadata:
  # Specify the name of the resource. The name must be unique in the current Kubernetes cluster. The name is the same as the name of the Logtail configuration that is created.
  name: example-k8s-file
spec:
  # Specify the project to which logs are collected.
  project:
    name: k8s-log-test
  # Create a Logstore to store logs.
  logstores:
    - name: k8s-file
  # Configure the parameters for the Logtail configuration.
  config:
    # Specify the sample log. You can leave this parameter empty.
    sample: |
      2024-06-19 16:35:00 INFO test log
      line-1
      line-2
      end
    # Configure the Logtail input plug-ins.
    inputs:
      # Use the input_file plug-in to collect multi-line text logs from containers.
      - Type: input_file
        # Specify the file path in the containers.
        FilePaths:
          - /data/logs/app_1/**/test.LOG
        # Enable the container discovery feature. 
        EnableContainerDiscovery: true
        # Enable multi-line log collection.
        Multiline:
          # Specify the custom mode to match the beginning of the first line of a log based on a regular expression.
          Mode: custom
          # Specify the regular expression that is used to match the beginning of the first line of a log.
          StartPattern: \d+-\d+-\d+.*
    # Specify the Logtail processing plug-ins.
    processors:
      # Use the processor_parse_regex_native plug-in to parse logs based on the specified regular expression.
      - Type: processor_parse_regex_native
        # Specify the name of the input field.
        SourceKey: content
        # Specify the regular expression that is used for the parsing. Use capturing groups to extract fields.
        Regex: (\d+-\d+-\d+\s*\d+:\d+:\d+)\s*(\S+)\s*(.*)
        # Specify the fields that you want to extract.
        Keys: ["time", "level", "msg"]
    # Configure the Logtail output plug-ins.
    flushers:
      # Use the flusher_sls plug-in to send logs to a specific Logstore. 
      - Type: flusher_sls
        # Make sure that the Logstore exists.
        Logstore: k8s-file
        # Make sure that the endpoint is valid.
        Endpoint: cn-hangzhou.log.aliyuncs.com
        Region: cn-hangzhou
        TelemetryType: logs

次のコマンドを実行してLogtail設定を適用します。 Logtail設定が適用されると、Logtailは指定されたコンテナからテキストログの収集を開始し、そのログをSimple Log Serviceに送信します。
次のコマンドで、cube.yamlはサンプルファイル名です。ビジネス要件に基づいて別のファイル名を指定できます。
```
kubectl apply -f cube.yaml
```
重要
ログを収集したら、インデックスを作成する必要があります。次に、Logstore内のログを照会および分析できます。詳細については、「インデックスの作成」をご参照ください。

CRD - AliyunLogConfig

Logtail設定を作成するには、AliyunLogConfig CRDからCRを作成するだけです。 Logtail設定が作成されると、自動的に適用されます。 CRに基づいて作成されたLogtail設定を変更する場合は、CRを変更する必要があります。

クラスターのkubeconfigファイルを取得し、kubectlを使用してクラスターに接続します。
次のコマンドを実行して、YAMLファイルを作成します。
次のコマンドで、cube.yamlはサンプルファイル名です。ビジネス要件に基づいて別のファイル名を指定できます。
```
vim cube.yaml
```
YAMLファイルに次のスクリプトを入力し、ビジネス要件に基づいてパラメーターを設定します。
重要
- configNameパラメーターの値は、Logtailコンポーネントのインストールに使用するSimple Log Serviceプロジェクトで一意である必要があります。
- 複数のCRが同じLogtail設定に関連付けられている場合、いずれかのCRを削除または変更すると、Logtail設定が影響を受けます。 CRが削除または変更されると、関連する他のCRのステータスがSimple Log ServiceのLogtail設定のステータスと一致しなくなります。
- CRパラメーターの詳細については、「AliyunLogConfigを使用したLogtail設定の管理」をご参照ください。この例では、Logtail設定にテキストログ収集の設定が含まれています。詳細については、「CreateConfig」をご参照ください。
すべてのコンテナから単一行のテキストログを収集する
この例では、クラスター内のすべてのコンテナーから単一行のテキストログを収集するために、example-k8sファイルという名前のLogtail設定が作成されます。ファイルはtest.LOGで、パスは /data/logs/app_1です。収集されたログは、k8s-log-testという名前のプロジェクトに属するk8s-fileという名前のLogstoreに保存されます。
```
apiVersion: log.alibabacloud.com/v1alpha1
kind: AliyunLogConfig
metadata:
  # Specify the name of the resource. The name must be unique in the current Kubernetes cluster. 
  name: example-k8s-file
  namespace: kube-system
spec:
  # Specify the name of the project. If you leave this parameter empty, the project named k8s-log-<your_cluster_id> is used.
  project: k8s-log-test
  # Specify the name of the Logstore. If the specified Logstore does not exist, Simple Log Service automatically creates a Logstore. 
  logstore: k8s-file
  # Configure the parameters for the Logtail configuration. 
  logtailConfig:
    # Specify the type of the data source. If you want to collect text logs, set the value to file. 
    inputType: file
    # Specify the name of the Logtail configuration. 
    configName: example-k8s-file
    inputDetail:
      # Specify the simple mode to collect text logs. 
      logType: common_reg_log
      # Specify the log file path. 
      logPath: /data/logs/app_1
      # Specify the log file name. You can use wildcard characters (* and ?) when you specify the log file name. Example: log_*.log. 
      filePattern: test.LOG
      # Set the value to true if you want to collect text logs from containers. 
      dockerFile: true
```
次のコマンドを実行してLogtail設定を適用します。 Logtail設定が適用されると、Logtailは指定されたコンテナからテキストログの収集を開始し、そのログをSimple Log Serviceに送信します。
次のコマンドで、cube.yamlはサンプルファイル名です。ビジネス要件に基づいて別のファイル名を指定できます。
```
kubectl apply -f cube.yaml
```
重要
ログを収集したら、インデックスを作成する必要があります。次に、Logstore内のログを照会および分析できます。詳細については、「インデックスの作成」をご参照ください。

Logtail設定の表示

コンソール

Simple Log Serviceコンソール.
[プロジェクト] セクションで、対象のプロジェクトをクリックします。
[ログストレージ] > [ログストア] を選択します。対象のLogtail設定の > アイコンをクリックします。 [データインポート] > [Logtail設定] を選択します。
対象のLogtail設定をクリックして、設定の詳細を表示します。

(推奨) CRD - AliyunPipelineConfig

AliyunPipelineConfig CRDを使用して作成されたすべてのLogtail設定を表示する

kubectl get clusteraliyunpipelineconfigsコマンドを実行して、Logtail設定を表示できます。

AliyunPipelineConfig CRDを使用して作成されたLogtail設定の詳細を表示する

次のコマンドを実行して、Logtail設定の詳細を表示できます。次のコマンドで、<config_name> は、AliyunPipelineConfig CRDから作成される必要なCRの名前を指定します。ビジネス要件に基づいて値を指定できます。

kubectl get clusteraliyunpipelineconfigs <config_name> -o yaml

次のサンプルコードは、サンプル出力を提供します。この例では、Logtail設定は、「すべてのコンテナーからの単一行テキストログの収集」で作成されたCRに基づいて作成されます。 statusパラメーターを表示して、Logtail設定が適用されているかどうかを確認できます。

apiVersion: telemetry.alibabacloud.com/v1alpha1
kind: ClusterAliyunPipelineConfig
metadata:
  finalizers:
    - finalizer.pipeline.alibabacloud.com
  name: example-k8s-file
# The expected configuration.
spec:
  config:
    flushers:
      - Endpoint: cn-hangzhou.log.aliyuncs.com
        Logstore: k8s-file
        Region: cn-hangzhou
        TelemetryType: logs
        Type: flusher_sls
    inputs:
      - EnableContainerDiscovery: true
        FilePaths:
          - /data/logs/app_1/**/test.LOG
        Type: input_file
  logstores:
    - encryptConf: {}
      name: k8s-file
  project:
    name: k8s-log-clusterid
# The application status of the CR.
status:
  # Whether the CR is successfully applied.
  success: true
  # The status information of the CR.
  message: success
  # The update time of the current status.
  lastUpdateTime: '2024-06-19T09:21:34.215702958Z'
  # The Logtail configuration that was successfully applied. Default values are used in the Logtail configuration.
  lastAppliedConfig:
    # The time when the Logtail configuration was applied.
    appliedTime: '2024-06-19T09:21:34.215702958Z'
    # The detailed settings of the Logtail configuration.
    config:
      configTags:
        sls.crd.cluster: e2e-cluster-id
        sls.crd.kind: ClusterAliyunPipelineConfig
        sls.logtail.channel: CRD
      flushers:
        - Endpoint: cn-hangzhou.log.aliyuncs.com
          Logstore: k8s-file
          Region: cn-hangzhou
          TelemetryType: logs
          Type: flusher_sls
      inputs:
        - EnableContainerDiscovery: true
          FilePaths:
            - /data/logs/app_1/**/test.LOG
          Type: input_file
      name: example-k8s-file
    logstores:
      - appendMeta: true
        autoSplit: true
        encryptConf: {}
        maxSplitShard: 64
        name: k8s-file
        shardCount: 2
        ttl: 30
    machineGroups:
      - name: k8s-group-clusterid
    project:
      description: 'k8s log project, created by alibaba cloud log controller'
      endpoint: cn-hangzhou.log.aliyuncs.com
      name: k8s-log-clusterid

CRD - AliyunLogConfig

AliyunLogConfig CRDを使用して作成されたすべてのLogtail設定を表示する

kubectl get aliyunlogconfigsコマンドを実行して、Logtail設定を表示できます。次の図は、サンプル出力を示しています。

AliyunLogConfig CRDを使用して作成されたLogtail構成の詳細を表示する

kubectl get aliyunlogconfigs <config_name> -o yamlコマンドを実行して、Logtail設定の詳細を表示できます。次のコマンドで、<config_name> は、AliyunLogConfig CRDから作成される必要なCRの名前を指定します。ビジネス要件に基づいて値を指定できます。次の図は、サンプル出力を示しています。

出力のstatusおよびstatusCodeパラメーターは、Logtail設定のステータスを示します。

statusCodeパラメーターの値が200の場合、Logtail設定が適用されます。
statusCodeパラメーターの値が200でない場合、Logtail設定は適用されません。

収集したログの照会と分析

Simple Log Serviceコンソールの [プロジェクト] セクションで、管理するプロジェクトをクリックして、プロジェクトの詳細ページに移動します。
管理するLogstoreを見つけ、Logstoreの上にポインターを移動し、アイコンをクリックしてから、[検索と分析] を選択してKubernetesクラスターのログを表示します。

トラブルシューティング

Logtailを使用して標準コンテナやKubernetesコンテナなどのコンテナからログを収集するときに例外が発生した場合、次のトピックに基づいて問題のトラブルシューティングを行うことができます。

Logtailを使用してコンテナからログを収集するときにエラーが発生した場合はどうすればよいですか?

実装

サイドカーモード

前提条件

ステップ1: Logtailコンテナをビジネスポッドに注入する

Logtail構成の作成

コンソール

ファイルパスブラックリスト

ファイルブラックリスト

ディレクトリブラックリスト

(推奨) CRD - AliyunPipelineConfig

Logtail設定の作成

すべてのコンテナから単一行のテキストログを収集する

特定のコンテナから単一行のテキストログを収集する

すべてのコンテナから複数行のテキストログを収集し、正規表現を使用してログを解析する

CRD - AliyunLogConfig

すべてのコンテナから単一行のテキストログを収集する

Logtail設定の表示

コンソール

(推奨) CRD - AliyunPipelineConfig

AliyunPipelineConfig CRDを使用して作成されたすべてのLogtail設定を表示する

AliyunPipelineConfig CRDを使用して作成されたLogtail設定の詳細を表示する

CRD - AliyunLogConfig

AliyunLogConfig CRDを使用して作成されたすべてのLogtail設定を表示する

AliyunLogConfig CRDを使用して作成されたLogtail構成の詳細を表示する

収集したログの照会と分析

トラブルシューティング