Logtail設定ファイルとレコードファイル - Simple Log Service

このトピックでは、Logtailの基本構成ファイルとレコードファイルについて説明します。 Logtailがアクティブの場合、設定ファイルを使用してレコードファイルを生成します。

起動構成ファイル (ilogtail_config.json)

ilogtail_config.jsonファイルは、Logtailの起動パラメーターを設定するために使用されます。ファイルはJSON形式です。詳細については、「Logtailの起動パラメーターの設定」をご参照ください。

重要

ファイルは有効なJSONファイルである必要があります。正しくなければ、Logtail は起動されません。
ファイルを変更する場合は、変更を有効にするためにLogtailを再起動する必要があります。詳細については、「Logtailの再起動」をご参照ください。
デフォルトでは、LogtailはHTTPプロトコルを使用してコントロールプレーンとデータプレーンのサーバーと通信し、HTTPSプロトコルを使用してサーバーとの認証を実行します。
- セキュリティを確保するために、HTTPSプロトコルを使用してサーバーと通信できます。この場合、config_server_addressおよびdata_server_list.endpointの明示的なパラメーターをhttpsに設定する必要があります。
- HTTPSを使用してデータを送信すると、送信レイテンシが増加します。必要なシナリオでのみHTTPSを使用することを推奨します。

Logtailをサーバーにインストールした後、ilogtail_config.jsonファイルで次の操作を実行できます。

Logtailのランタイムパラメーターを変更します。
インストールコマンドが要件を満たしているかどうかを確認します。
ilogtail_config.jsonファイルのconfig_server_addressおよびdata_server_listパラメーターの値は、選択したインストールコマンドによって異なります。インストールコマンドのリージョンがSimple Log Serviceプロジェクトが存在するリージョンと異なる場合、またはコマンドのアドレスにアクセスできない場合、選択したインストールコマンドは要件を満たしていません。この場合、Logtailはログを収集できないため、再インストールする必要があります。

ファイルパス

ホスト環境

オペレーティングシステム	Logtail	ilogtail_config.jsonファイルへのパス
Linux	Logtail (64ビット)	/usr/local/ilogtail/ilogtail_config.json
64ビットWindows	Logtail (64ビット)	C:\プログラムファイル \Alibaba\Logtail\ilogtail_config.json
64ビットWindows	Logtail (32ビット)	C:\プログラムファイル (x86)\Alibaba\Logtail\ilogtail_config.json 説明 64ビットWindowsで32ビットおよび64ビットアプリケーションを実行できます。互換性を確保するために、オペレーティングシステムは32ビットアプリケーションを別のx86ディレクトリに保存します。
32ビットWindows	Logtail (32ビット)	C:\プログラムファイル \Alibaba\Logtail\ilogtail_config.json

コンテナ環境
ilogtail_config.jsonファイルはLogtailコンテナに格納されます。ファイルパスは、Logtailコンテナの環境変数ALIYUN_LOGTAIL_CONFIGで指定します。 docker inspect ${logtail_container_name} | grep ALIYUN_LOGTAIL_CONFIGコマンドを実行して、ファイルパスを表示します。例: /etc/ilogtail/conf/cn-hangzhou/ilogtail_config.json

サンプルファイル

$cat /usr/local/ilogtail/ilogtail_config.json
{
    "config_server_address" : "http://logtail.cn-hangzhou-intranet.log.aliyuncs.com",
    "data_server_list" :
    [
        {
            "cluster" : "cn-hangzhou",
            "endpoint" : "cn-hangzhou-intranet.log.aliyuncs.com"
        }
    ],
    "cpu_usage_limit" : 0.4,
    "mem_usage_limit" : 100,
    "max_bytes_per_sec" : 2097152,
    "process_thread_count" : 1,
    "send_request_concurrency" : 4,
    "streamlog_open" : false
}

ユーザー识别ファイル

ユーザー識別子ファイルには、Alibaba CloudアカウントのIDが含まれています。このファイルは、Logtailがインストールされているサーバーにアクセスし、サーバーからログを収集する権限がアカウントにあることを指定します。詳細については、「ユーザー識別子の設定」をご参照ください。

重要

別のAlibaba Cloudアカウントに属するElastic Compute Service (ECS) インスタンス、自己管理型データセンターにデプロイされているサーバー、またはサードパーティのクラウドサービスプロバイダーによって提供されているサーバーからログを収集する場合は、サーバーのユーザー識別子を設定する必要があります。
ユーザー識別子ファイルで、Alibaba CloudアカウントのIDをユーザー識別子として指定する必要があります。 RAM (Resource Access Management) ユーザーのIDをユーザー識別子として指定することはできません。
ユーザー识别ファイル名を指定する必要があります。ファイル拡張子を指定する必要はありません。
サーバーには複数のユーザー識別子を指定できます。ただし、Logtailコンテナに指定できるユーザー識別子は1つだけです。

ファイルパス
- ホスト環境
  - Linux: /etc/ilogtail/users /
  - Windows: C:\LogtailData\users \
- コンテナ環境
  ファイルはLogtailコンテナに保存されます。ファイルパスは、Logtailコンテナの環境変数ALIYUN_LOGTAIL_USER_IDで指定します。 docker inspect ${logtail_container_name} | grep ALIYUN_LOGTAIL_USER_IDコマンドを実行して、ファイルパスを表示します。
サンプルファイル
```
$ls /etc/ilogtail/users/
```

カスタム識別子ファイル (user_defined_id)

user_defined_idファイルは、カスタム識別子を設定するために使用されます。詳細については、「カスタム識別子ベースのマシングループの作成」をご参照ください。

重要

カスタム識別子ベースのマシングループを作成するときは、user_defined_idファイルを設定する必要があります。

ファイルパス
- ホスト環境
  - Linux: /etc/ilogtail/user_defined_id
  - Windows: C:\LogtailData\user_defined_id
- コンテナ環境
  ファイルはLogtailコンテナに保存されます。ファイルパスは、Logtailコンテナーの環境変数ALIYUN_LOGTAIL_USER_DEFINED_IDで指定します。 docker inspect ${logtail_container_name} | grep ALIYUN_LOGTAIL_USER_DEFINED_IDコマンドを実行して、ファイルパスを表示します。

サンプルファイル

$cat /etc/ilogtail/user_defined_id
aliyun-ecs-rs1e16355

Logtail設定ファイル (user_log_config.json)

user_log_config.jsonファイルには、LogtailがSimple Log Serviceから受信したLogtail設定に関する情報が記録されます。ファイルはJSON形式で、設定の更新とともに更新されます。 user_log_config.jsonファイルを使用して、LogtailがインストールされているサーバーにLogtail設定が配信されているかどうかを確認できます。 Logtail設定ファイルが存在し、ファイル内の設定がSimple Log ServiceのLogtail設定の設定と同じである場合、Logtail設定が配信されます。

重要

AccessKeyペアやデータベースパスワードなどの機密情報を指定する必要がない限り、Logtail設定ファイルを変更しないことをお勧めします。

ファイルパス

ホスト環境

オペレーティングシステム	Logtail	user_log_config.jsonファイルへのパス
Linux	Logtail (64ビット)	/usr/local/ilogtail/user_log_config.json
64ビットWindows	Logtail (64ビット)	C:\Program Files\Alibaba\Logtail\user_log_config.json
64ビットWindows	Logtail (32ビット)	C:\プログラムファイル (x86)\Alibaba\Logtail\user_log_config.json 説明 64ビットWindowsで32ビットおよび64ビットアプリケーションを実行できます。互換性を確保するために、オペレーティングシステムは32ビットアプリケーションを別のx86ディレクトリに保存します。
32ビットWindows	Logtail (32ビット)	C:\Program Files\Alibaba\Logtail\user_log_config.json

コンテナ環境
user_log_config.jsonファイルはLogtailコンテナに保存されます。ファイルパスは /usr/local/ilogtail/user_log_config.jsonです。

サンプルファイル

$cat /usr/local/ilogtail/user_log_config.json
{
   "metrics" : {
      "##1.0##k8s-log-c12ba2028*****939f0b$app-java" : {
         "aliuid" : "16542189*****50",
         "category" : "app-java",
         "create_time" : 1534739165,
         "defaultEndpoint" : "cn-hangzhou-intranet.log.aliyuncs.com",
         "delay_alarm_bytes" : 0,
         "enable" : true,
         "enable_tag" : true,
         "filter_keys" : [],
         "filter_regs" : [],
         "group_topic" : "",
         "local_storage" : true,
         "log_type" : "plugin",
         "log_tz" : "",
         "max_send_rate" : -1,
         "merge_type" : "topic",
         "plugin" : {
            "inputs" : [
               {
                  "detail" : {
                     "IncludeEnv" : {
                        "aliyun_logs_app-java" : "stdout"
                     },
                     "IncludeLable" : {
                        "io.kubernetes.container.name" : "java-log-demo-2",
                        "io.kubernetes.pod.namespace" : "default"
                     },
                     "Stderr" : true,
                     "Stdout" : true
                  },
                  "type" : "service_docker_stdout"
               }
            ]
         },
         "priority" : 0,
         "project_name" : "k8s-log-c12ba2028c*****ac1286939f0b",
         "raw_log" : false,
         "region" : "cn-hangzhou",
         "send_rate_expire" : 0,
         "sensitive_keys" : [],
         "tz_adjust" : false,
         "version" : 1
      }
   }
}

AppInfoレコードファイル (app_info.json)

app_info.jsonファイルには、起動時刻、取得したIPアドレス、ホスト名など、Logtailに関する情報が記録されます。

サーバーのIPアドレスをサーバーの /etc/hostsファイル内のホスト名にマップすると、LogtailはIPアドレスを直接取得します。サーバーのIPアドレスをホスト名にマップしない場合、Logtailはサーバー上の最初のネットワークインターフェイスコントローラー (NIC) のIPアドレスを取得します。

重要

AppInfoレコードファイルには、Logtailに関する基本情報のみが記録されます。ファイルを変更しても、Logtailによって取得されるIPアドレスは変更されません。
ホスト名などのサーバーのネットワーク設定を変更する場合は、Logtailを再起動して新しいIPアドレスを取得する必要があります。

ファイルパス

ホスト環境

オペレーティングシステム	Logtail	app_info.jsonファイルへのパス
Linux	Logtail (64ビット)	/usr/local/ilogtail/app_info.json
64ビットWindows	Logtail (64ビット)	C:\プログラムファイル \Alibaba\Logtail\app_info.json
64ビットWindows	Logtail (32ビット)	C:\プログラムファイル (x86)\Alibaba\Logtail\app_info.json 説明 64ビットWindowsで32ビットおよび64ビットアプリケーションを実行できます。互換性を確保するために、オペレーティングシステムは32ビットアプリケーションを別のx86ディレクトリに保存します。
32ビットWindows	Logtail (32ビット)	C:\プログラムファイル \Alibaba\Logtail\app_info.json

コンテナ環境
app_info.jsonファイルはLogtailコンテナーに保存されます。ファイルパスは /usr/local/ilogtail/app_info.jsonです。

サンプルファイル

$cat /usr/local/ilogtail/app_info.json
{
   "UUID" : "",
   "hostname" : "logtail-ds-slpn8",
   "instance_id" : "E5F93BC6-B024-11E8-8831-0A58AC14039E_1**.***.***.***_1536053315",
   "ip" : "1**.***.***.***",
   "logtail_version" : "0.16.13",
   "os" : "Linux; 3.10.0-693.2.2.el7.x86_64; #1 SMP Tue Sep 12 22:26:13 UTC 2017; x86_64",
   "update_time" : "2018-09-04 09:28:36"
}

項目	説明
UUID	サーバーのシリアル番号。
hostname	ホスト名。
instance_id	Logtailの一意の識別子。識別子はランダムに生成される。
ip	Logtailによって取得されるIPアドレス。 LogtailがIPアドレスを取得しない場合、このフィールドは空であり、Logtailは期待どおりに実行できません。この場合、サーバーのIPアドレスを指定し、Logtailを再起動する必要があります。説明 IPアドレスベースのマシングループを作成する場合は、そのマシングループに指定したIPアドレスがこのフィールドの値と一致していることを確認してください。マシングループに指定したIPアドレスがこのフィールドの値と一致しない場合は、Simple Log Serviceコンソールにログインし、マシングループのIPアドレスを変更します。 1分待ってから、Simple Log ServiceコンソールでマシングループのIPアドレスを表示します。
logtail_version	Logtailのバージョン。
os	オペレーティングシステムのバージョン。
update_time	Logtailの最新の起動時刻。

Logtail 操作ログファイル (ilogtail.LOG)

ilogtail.LOGファイルは、Logtailの操作ログを記録します。昇順のログのレベルは、INFO、WARN、およびERRORです。 INFOレベルではログを無視できます。

ログ収集中にエラーが発生した場合は、エラーの種類とLogtail操作ログに基づいてエラーをトラブルシューティングします。詳細については、「」をご参照ください。Logtail収集エラーの表示方法?

説明

を送信するときにilogtail.LOGファイルをアップロードする必要があります。 Logtail収集エラーをトラブルシューティングするためのticket 。

ファイルパス

ホスト環境

オペレーティングシステム	Logtail	ilogtail.LOGファイルへのパス
Linux	Logtail (64ビット)	/usr/local/ilogtail/ilogtail.LOG
64ビットWindows	Logtail (64ビット)	C:\Program Files\Alibaba\Logtail\ilogtail.LOG
64ビットWindows	Logtail (32ビット)	C:\プログラムファイル (x86)\Alibaba\Logtail\ilogtail.LOG 説明 64ビットWindowsで32ビットおよび64ビットアプリケーションを実行できます。互換性を確保するために、オペレーティングシステムは32ビットアプリケーションを別のx86ディレクトリに保存します。
32ビットWindows	Logtail (32ビット)	C:\Program Files\Alibaba\Logtail\ilogtail.LOG

コンテナ環境
ilogtail.LOGファイルはLogtailコンテナーに保存されます。ファイルパスは /usr/local/ilogtail/ilogtail.LOGです。

サンプルファイル

$tail /usr/local/ilogtail/ilogtail.LOG
[2018-09-13 01:13:59.024679]    [INFO]    [3155]    [build/release64/sls/ilogtail/elogtail.cpp:123]    change working dir:/usr/local/ilogtail/
[2018-09-13 01:13:59.025443]    [INFO]    [3155]    [build/release64/sls/ilogtail/AppConfig.cpp:175]    load logtail config file, path:/etc/ilogtail/conf/ap-southeast-1/ilogtail_config.json
[2018-09-13 01:13:59.025460]    [INFO]    [3155]    [build/release64/sls/ilogtail/AppConfig.cpp:176]    load logtail config file, detail:{
   "config_server_address" : "http://logtail.ap-southeast-1-intranet.log.aliyuncs.com",
   "data_server_list" : [
      {
         "cluster" : "ap-southeast-1",
         "endpoint" : "ap-southeast-1-intranet.log.aliyuncs.com"
      }
]

Logtailプラグインの操作ログファイル (logtail_plugin.LOG)

logtail_plugin.LOGファイルには、Logtailプラグインの操作ログが記録されます。昇順のログのレベルは、INFO、WARN、およびERRORです。 INFOレベルではログを無視できます。

ログ収集エラーの診断時にCANAL_RUNTIME_ALARMエラーメッセージが表示された場合は、logtail_plugin.LOGファイルに基づいてエラーをトラブルシューティングできます。

説明

を送信するときにファイルをアップロードする必要があります。 Logtailプラグインのエラーをトラブルシューティングするためのticket 。

ファイルパス

ホスト環境

オペレーティングシステム	Logtail	logtail_plugin.LOGファイルへのパス
Linux	Logtail (64ビット)	/usr/local/ilogtail/logtail_plugin.LOG
64ビットWindows	Logtail (64ビット)	C:\プログラムファイル \Alibaba\Logtail\logtail_plugin.LOG
64ビットWindows	Logtail (32ビット)	C:\プログラムファイル (x86)\Alibaba\Logtail\logtail_plugin.LOG 説明 64ビットWindowsで32ビットおよび64ビットアプリケーションを実行できます。互換性を確保するために、オペレーティングシステムは32ビットアプリケーションを別のx86ディレクトリに保存します。
32ビットWindows	Logtail (32ビット)	C:\プログラムファイル \Alibaba\Logtail\logtail_plugin.LOG

コンテナ環境
logtail_plugin.LOGファイルはLogtailコンテナに保存されます。ファイルパスは /usr/local/ilogtail/logtail_plugin.LOGです。

サンプルファイル

$tail /usr/local/ilogtail/logtail_plugin.LOG
2018-09-13 02:55:30 [INF] [docker_center.go:525] [func1] docker fetch all:start
2018-09-13 02:55:30 [INF] [docker_center.go:529] [func1] docker fetch all:stop
2018-09-13 03:00:30 [INF] [docker_center.go:525] [func1] docker fetch all:start
2018-09-13 03:00:30 [INF] [docker_center.go:529] [func1] docker fetch all:stop
2018-09-13 03:03:26 [INF] [log_file_reader.go:221] [ReadOpen] [##1.0##sls-zc-test-hz-pub$docker-stdout-config,k8s-stdout]    open file for read, file:/logtail_host/var/lib/docker/containers/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624-json.log    offset:40379573    status:794354-64769-40379963
2018-09-13 03:03:26 [INF] [log_file_reader.go:221] [ReadOpen] [##1.0##k8s-log-c12ba2028cfb444238cd9ac1286939f0b$docker-stdout-config,k8s-stdout]    open file for read, file:/logtail_host/var/lib/docker/containers/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624-json.log    offset:40379573    status:794354-64769-40379963
2018-09-13 03:04:26 [INF] [log_file_reader.go:308] [CloseFile] [##1.0##sls-zc-test-hz-pub$docker-stdout-config,k8s-stdout]    close file, reason:no read timeout    file:/logtail_host/var/lib/docker/containers/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624-json.log    offset:40379963    status:794354-64769-40379963
2018-09-13 03:04:27 [INF] [log_file_reader.go:308] [CloseFile] [##1.0##k8s-log-c12ba2028cfb444238cd9ac1286939f0b$docker-stdout-config,k8s-stdout]    close file, reason:no read timeout    file:/logtail_host/var/lib/docker/containers/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624-json.log    offset:40379963    status:794354-64769-40379963
2018-09-13 03:05:30 [INF] [docker_center.go:525] [func1] docker fetch all:start
2018-09-13 03:05:30 [INF] [docker_center.go:529] [func1] docker fetch all:stop

コンテナパスマッピングファイル (docker_path_config.json)

docker_path_config.jsonファイルは、コンテナログを収集するときにのみ作成されます。このファイルは、コンテナログファイルとホストログファイルの間のパスマッピングを記録します。ファイルはJSON形式です。

ログ収集エラーの診断時にDOCKER_FILE_MAPPING_ALARMエラーメッセージが表示された場合は、docker_path_config.jsonファイルに基づいてエラーをトラブルシューティングできます。エラーメッセージは、Dockerファイルをホストファイルにマップできないことを示します。

説明

docker_path_config.jsonファイルはレコードファイルです。このファイルの変更は有効になりません。このファイルを削除すると、サービスを中断することなく別のファイルが自動的に作成されます。
を送信するときにファイルをアップロードする必要があります。 ticket を使用して、コンテナーログ収集エラーをトラブルシューティングします。

ファイルパス
/usr/local/ilogtail/ilogtail_config.json

サンプルファイル

$cat /usr/local/ilogtail/docker_path_config.json
{
   "detail" : [
      {
         "config_name" : "##1.0##k8s-log-c12ba2028cfb444238cd9ac1286939f0b$nginx",
         "container_id" : "df19c06e854a0725ea7fca7e0378b0450f7bd3122f94fe3e754d8483fd330d10",
         "params" : "{\n   \"ID\" : \"df19c06e854a0725ea7fca7e0378b0450f7bd3122f94fe3e754d8483fd330d10\",\n   \"Path\" : \"/logtail_host/var/lib/docker/overlay2/947db346695a1f65e63e582ecfd10ae1f57019a1b99260b6c83d00fcd1892874/diff/var/log\",\n   \"Tags\" : [\n      \"nginx-type\",\n      \"access-log\",\n      \"_image_name_\",\n      \"registry.cn-hangzhou.aliyuncs.com/log-service/docker-log-test:latest\",\n      \"_container_name_\",\n      \"nginx-log-demo\",\n      \"_pod_name_\",\n      \"nginx-log-demo-h2lzc\",\n      \"_namespace_\",\n      \"default\",\n      \"_pod_uid_\",\n      \"87e56ac3-b65b-11e8-b172-00163f008685\",\n      \"_container_ip_\",\n      \"172.20.4.224\",\n      \"purpose\",\n      \"test\"\n   ]\n}\n"
      }
   ],
   "version" : "0.1.0"
}