全部產品
Search
文件中心

Simple Log Service:Logtail設定檔和記錄檔案

更新時間:Jun 30, 2024

Logtail運行時依賴一系列的設定檔併產生部分資訊記錄檔案,本文檔介紹常見檔案的基本資料及路徑。

啟動參數設定檔(ilogtail_config.json)

ilogtail_config.json檔案用於配置Logtail的啟動參數,檔案類型為JSON。更多資訊,請參見設定Logtail啟動參數

重要
  • 該檔案必須為合法JSON,否則無法啟動Logtail。

  • 修改該檔案後,必須重啟Logtail才會生效。具體操作,請參見重啟Logtail

  • Logtail預設使用HTTP協議和服務端進行管控面和資料面的通訊,使用HTTPS協議和服務端進行鑒權。

    • 如果出於安全考慮,需要使用HTTPS協議和服務端進行通訊,則可以分別將config_server_addressdata_server_list.endpoint顯式指定為https。

    • 如果使用HTTPS協議傳輸資料,會增加傳輸延時,非關鍵情境不建議使用。

安裝Logtail後,您可以在ilogtail_config.json檔案進行如下操作。

  • 修改Logtail的運行參數。

  • 檢驗安裝命令是否正確。

    ilogtail_config.json檔案中的config_server_address參數和data_server_list參數的值取決於安裝時選擇的安裝命令,如果其中的地區和Simple Log Service所在地區不一致或地址無法聯通,說明安裝時選擇了錯誤的命令。這時Logtail無法正常採集日誌,需重新安裝。

  • 檔案路徑

    • 主機環境

      作業系統

      Logtail

      ilogtail_config.json檔案路徑

      Linux

      Logtail(64位程式)

      /usr/local/ilogtail/ilogtail_config.json

      Windows(64位作業系統)

      Logtail(64位程式)

      C:\Program Files\Alibaba\Logtail\ilogtail_config.json

      Logtail(32位程式)

      C:\Program Files (x86)\Alibaba\Logtail\ilogtail_config.json

      說明

      Windows 64位作業系統支援運行32/64位應用程式,但是出於相容性考慮,在Windows 64位作業系統上,Windows會使用單獨的x86目錄來存放32位應用程式。

      Windows (32位作業系統)

      Logtail(32位程式)

      C:\Program Files\Alibaba\Logtail\ilogtail_config.json

    • 容器環境

      ilogtail_config.json檔案儲存體在Logtail容器中,檔案路徑配置在Logtail容器的環境變數ALIYUN_LOGTAIL_CONFIG中,您可通過docker inspect ${logtail_container_name} | grep ALIYUN_LOGTAIL_CONFIG命令查看。例如:/etc/ilogtail/conf/cn-hangzhou/ilogtail_config.json

  • 檔案樣本

    $cat /usr/local/ilogtail/ilogtail_config.json
    {
        "config_server_address" : "http://logtail.cn-hangzhou-intranet.log.aliyuncs.com",
        "data_server_list" :
        [
            {
                "cluster" : "cn-hangzhou",
                "endpoint" : "cn-hangzhou-intranet.log.aliyuncs.com"
            }
        ],
        "cpu_usage_limit" : 0.4,
        "mem_usage_limit" : 100,
        "max_bytes_per_sec" : 2097152,
        "process_thread_count" : 1,
        "send_request_concurrency" : 4,
        "streamlog_open" : false
    }

使用者標識設定檔

使用者標識設定檔中包含阿里雲主帳號的ID資訊,用於標識這台伺服器有許可權被該帳號訪問、採集日誌。更多資訊,請參見配置使用者標識

重要
  • 在採集非本帳號ECS、自建IDC、其他雲廠商伺服器日誌時需要配置使用者標識。

  • 使用者標識設定檔中必須配置阿里雲帳號(主帳號)ID,不支援RAM使用者。

  • 使用者標識設定檔只需設定檔名,無需設定檔尾碼。

  • 一台伺服器上可配置多個使用者標識,Logtail容器中僅支援配置一個使用者標識。

  • 檔案路徑

    • 主機環境

      • Linux:/etc/ilogtail/users/。

      • Windows:C:\LogtailData\users\。

    • 容器環境

      使用者標識儲存在Logtail容器的環境變數ALIYUN_LOGTAIL_USER_ID中,您可通過docker inspect ${logtail_container_name} | grep ALIYUN_LOGTAIL_USER_ID命令查看。

  • 檔案樣本

    $ls /etc/ilogtail/users/

使用者自訂標識檔案(user_defined_id)

user_defined_id檔案用於配置使用者自訂標識。更多資訊,請參見建立使用者自訂標識機器組

重要

建立自訂標識機器組時需要配置user_defined_id檔案。

  • 檔案路徑

    • 主機環境

      • Linux:/etc/ilogtail/user_defined_id。

      • Windows:C:\LogtailData\user_defined_id。

    • 容器環境

      使用者自訂標識配置在Logtail容器的環境變數ALIYUN_LOGTAIL_USER_DEFINED_ID中,可通過docker inspect ${logtail_container_name} | grep ALIYUN_LOGTAIL_USER_DEFINED_ID命令查看。

  • 檔案樣本

    $cat /etc/ilogtail/user_defined_id
    aliyun-ecs-rs1e16355

Logtail採集設定檔(user_log_config.json)

user_log_config.json檔案記錄Logtail從Simple Log Service擷取的Logtail採集配置資訊,檔案類型為JSON,每次Logtail採集配置更新時會同步更新該檔案。可通過user_log_config.json檔案確認Logtail採集配置是否已經下發到伺服器。Logtail採集設定檔存在,且內容與Simple Log Service上的Logtail採集配置一致,表示Logtail採集配置已下發。

重要

除手動設定AccessKey資訊、資料庫密碼等敏感資訊外,不建議修改該檔案。

  • 檔案路徑

    • 主機環境

      作業系統

      Logtail

      user_log_config.json檔案路徑

      Linux

      Logtail(64位程式)

      /usr/local/ilogtail/user_log_config.json

      Windows(64位作業系統)

      Logtail(64位程式)

      C:\Program Files\Alibaba\Logtail\user_log_config.json

      Logtail(32位程式)

      C:\Program Files (x86)\Alibaba\Logtail\user_log_config.json

      說明

      Windows 64位作業系統支援運行32/64位應用程式,但是出於相容性考慮,在Windows 64位作業系統上,Windows會使用單獨的x86目錄來存放32位應用程式。

      Windows (32位作業系統)

      Logtail(32位程式)

      C:\Program Files\Alibaba\Logtail\user_log_config.json

    • 容器環境

      user_log_config.json檔案儲存體在Logtail容器中,檔案路徑為/usr/local/ilogtail/user_log_config.json。

  • 檔案樣本

    $cat /usr/local/ilogtail/user_log_config.json
    {
       "metrics" : {
          "##1.0##k8s-log-c12ba2028*****939f0b$app-java" : {
             "aliuid" : "16542189*****50",
             "category" : "app-java",
             "create_time" : 1534739165,
             "defaultEndpoint" : "cn-hangzhou-intranet.log.aliyuncs.com",
             "delay_alarm_bytes" : 0,
             "enable" : true,
             "enable_tag" : true,
             "filter_keys" : [],
             "filter_regs" : [],
             "group_topic" : "",
             "local_storage" : true,
             "log_type" : "plugin",
             "log_tz" : "",
             "max_send_rate" : -1,
             "merge_type" : "topic",
             "plugin" : {
                "inputs" : [
                   {
                      "detail" : {
                         "IncludeEnv" : {
                            "aliyun_logs_app-java" : "stdout"
                         },
                         "IncludeLable" : {
                            "io.kubernetes.container.name" : "java-log-demo-2",
                            "io.kubernetes.pod.namespace" : "default"
                         },
                         "Stderr" : true,
                         "Stdout" : true
                      },
                      "type" : "service_docker_stdout"
                   }
                ]
             },
             "priority" : 0,
             "project_name" : "k8s-log-c12ba2028c*****ac1286939f0b",
             "raw_log" : false,
             "region" : "cn-hangzhou",
             "send_rate_expire" : 0,
             "sensitive_keys" : [],
             "tz_adjust" : false,
             "version" : 1
          }
       }
    }

AppInfo記錄檔案(app_info.json)

app_info.json檔案記錄Logtail的啟動時間、擷取到的IP地址、主機名稱等資訊。

如果已在伺服器的/etc/hosts檔案中設定了主機名稱與IP地址綁定,則自動擷取綁定的IP地址。如果沒有設定主機名稱綁定,會自動擷取原生第一塊網卡的IP地址。

重要
  • AppInfo記錄檔案僅用於記錄Logtail內部資訊。修改該檔案不會改變Logtail擷取的IP地址。

  • 如果修改了伺服器的主機名稱等網路設定,請重啟Logtail,擷取新的IP地址。

  • 檔案路徑

    • 主機環境

      作業系統

      Logtail

      app_info.json檔案路徑

      Linux

      Logtail(64位程式)

      /usr/local/ilogtail/app_info.json

      Windows(64位作業系統)

      Logtail(64位程式)

      C:\Program Files\Alibaba\Logtail\app_info.json

      Logtail(32位程式)

      C:\Program Files (x86)\Alibaba\Logtail\app_info.json

      說明

      Windows 64位作業系統支援運行32/64位應用程式,但是出於相容性考慮,在Windows 64位作業系統上,Windows會使用單獨的x86目錄來存放32位應用程式。

      Windows (32位作業系統)

      Logtail(32位程式)

      C:\Program Files\Alibaba\Logtail\app_info.json

    • 容器環境

      app_info.json檔案儲存體在Logtail容器中,檔案路徑為/usr/local/ilogtail/app_info.json。

  • 檔案樣本

    $cat /usr/local/ilogtail/app_info.json
    {
       "UUID" : "",
       "hostname" : "logtail-ds-slpn8",
       "instance_id" : "E5F93BC6-B024-11E8-8831-0A58AC14039E_1**.***.***.***_1536053315",
       "ip" : "1**.***.***.***",
       "logtail_version" : "0.16.13",
       "os" : "Linux; 3.10.0-693.2.2.el7.x86_64; #1 SMP Tue Sep 12 22:26:13 UTC 2017; x86_64",
       "update_time" : "2018-09-04 09:28:36"
    }

    欄位

    說明

    UUID

    伺服器序號。

    hostname

    主機名稱。

    instance_id

    隨機產生的Logtail唯一標識。

    ip

    Logtail擷取到的IP地址。該欄位為空白時表示Logtail沒有擷取到IP地址,Logtail無法正常運行,請為伺服器設定IP地址並重啟Logtail。

    說明

    如果您建立了IP地址機器組,請確保機器組中配置的IP與此處顯示的IP地址一致。如果不一致,請在Simple Log Service控制台上修改機器組內IP地址,等待1分鐘再查看。

    logtail_version

    Logtail用戶端版本。

    os

    作業系統版本。

    update_time

    Logtail最近一次啟動時間。

Logtail作業記錄(ilogtail.LOG)

ilogtail.LOG檔案記錄了Logtail的作業記錄,記錄層級從低到高分別為INFO、WARN和ERROR,其中INFO類型的日誌無需關注。

如果採集異常,請先診斷採集錯誤,根據具體的錯誤類型和Logtail作業記錄排查問題。更多資訊,請參見如何查看Logtail採集錯誤資訊

說明

如果因Logtail採集異常提交工單時,請同時上傳該日誌。

  • 檔案路徑

    • 主機環境

      作業系統

      Logtail

      ilogtail.LOG件路徑

      Linux

      Logtail(64位程式)

      /usr/local/ilogtail/ilogtail.LOG

      Windows(64位作業系統)

      Logtail(64位程式)

      C:\Program Files\Alibaba\Logtail\ilogtail.LOG

      Logtail(32位程式)

      C:\Program Files (x86)\Alibaba\Logtail\ilogtail.LOG

      說明

      Windows 64位作業系統支援運行32/64位應用程式,但是出於相容性考慮,在Windows 64位作業系統上,Windows會使用單獨的x86目錄來存放32位應用程式。

      Windows (32位作業系統)

      Logtail(32位程式)

      C:\Program Files\Alibaba\Logtail\ilogtail.LOG

    • 容器環境:

      ilogtail.LOG檔案儲存體在Logtail容器中,檔案路徑為/usr/local/ilogtail/ilogtail.LOG。

  • 檔案樣本

    $tail /usr/local/ilogtail/ilogtail.LOG
    [2018-09-13 01:13:59.024679]    [INFO]    [3155]    [build/release64/sls/ilogtail/elogtail.cpp:123]    change working dir:/usr/local/ilogtail/
    [2018-09-13 01:13:59.025443]    [INFO]    [3155]    [build/release64/sls/ilogtail/AppConfig.cpp:175]    load logtail config file, path:/etc/ilogtail/conf/ap-southeast-1/ilogtail_config.json
    [2018-09-13 01:13:59.025460]    [INFO]    [3155]    [build/release64/sls/ilogtail/AppConfig.cpp:176]    load logtail config file, detail:{
       "config_server_address" : "http://logtail.ap-southeast-1-intranet.log.aliyuncs.com",
       "data_server_list" : [
          {
             "cluster" : "ap-southeast-1",
             "endpoint" : "ap-southeast-1-intranet.log.aliyuncs.com"
          }
    ]

Logtail外掛程式日誌(logtail_plugin.LOG)

logtail_plugin.LOG檔案記錄Logtail外掛程式的作業記錄,記錄層級從低到高分別為INFO、WARN和ERROR,其中INFO類型的日誌無需關注。

如果在診斷採集錯誤時,提示CANAL_RUNTIME_ALARM等錯誤,可以通過logtail_plugin.LOG檔案排查。

說明

如果因外掛程式異常提交工單時,請在工單中上傳該檔案。

  • 檔案路徑

    • 主機環境

      作業系統

      Logtail

      logtail_plugin.LOG檔案路徑

      Linux

      Logtail(64位程式)

      /usr/local/ilogtail/logtail_plugin.LOG

      Windows(64位作業系統)

      Logtail(64位程式)

      C:\Program Files\Alibaba\Logtail\logtail_plugin.LOG

      Logtail(32位程式)

      C:\Program Files (x86)\Alibaba\Logtail\logtail_plugin.LOG

      說明

      Windows 64位作業系統支援運行32/64位應用程式,但是出於相容性考慮,在Windows 64位作業系統上,Windows會使用單獨的x86目錄來存放32位應用程式。

      Windows (32位作業系統)

      Logtail(32位程式)

      C:\Program Files\Alibaba\Logtail\logtail_plugin.LOG

    • 容器環境

      logtail_plugin.LOG檔案儲存體在Logtail容器中,檔案路徑為/usr/local/ilogtail/logtail_plugin.LOG。

  • 檔案樣本

    $tail /usr/local/ilogtail/logtail_plugin.LOG
    2018-09-13 02:55:30 [INF] [docker_center.go:525] [func1] docker fetch all:start
    2018-09-13 02:55:30 [INF] [docker_center.go:529] [func1] docker fetch all:stop
    2018-09-13 03:00:30 [INF] [docker_center.go:525] [func1] docker fetch all:start
    2018-09-13 03:00:30 [INF] [docker_center.go:529] [func1] docker fetch all:stop
    2018-09-13 03:03:26 [INF] [log_file_reader.go:221] [ReadOpen] [##1.0##sls-zc-test-hz-pub$docker-stdout-config,k8s-stdout]    open file for read, file:/logtail_host/var/lib/docker/containers/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624-json.log    offset:40379573    status:794354-64769-40379963
    2018-09-13 03:03:26 [INF] [log_file_reader.go:221] [ReadOpen] [##1.0##k8s-log-c12ba2028cfb444238cd9ac1286939f0b$docker-stdout-config,k8s-stdout]    open file for read, file:/logtail_host/var/lib/docker/containers/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624-json.log    offset:40379573    status:794354-64769-40379963
    2018-09-13 03:04:26 [INF] [log_file_reader.go:308] [CloseFile] [##1.0##sls-zc-test-hz-pub$docker-stdout-config,k8s-stdout]    close file, reason:no read timeout    file:/logtail_host/var/lib/docker/containers/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624-json.log    offset:40379963    status:794354-64769-40379963
    2018-09-13 03:04:27 [INF] [log_file_reader.go:308] [CloseFile] [##1.0##k8s-log-c12ba2028cfb444238cd9ac1286939f0b$docker-stdout-config,k8s-stdout]    close file, reason:no read timeout    file:/logtail_host/var/lib/docker/containers/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624-json.log    offset:40379963    status:794354-64769-40379963
    2018-09-13 03:05:30 [INF] [docker_center.go:525] [func1] docker fetch all:start
    2018-09-13 03:05:30 [INF] [docker_center.go:529] [func1] docker fetch all:stop

容器路徑對應檔(docker_path_config.json)

docker_path_config.json檔案只有在採集容器日誌時才會建立,用於記錄容器檔案和宿主機檔案的路徑映射關係。檔案類型為JSON。

如果在診斷採集錯誤時,如果提示DOCKER_FILE_MAPPING_ALARM錯誤,表示添加Docker檔案對應失敗,可以通過docker_path_config.json檔案排查。

說明
  • docker_path_config.json檔案為記錄檔案,任何修改操作均不會生效。刪除後會自動建立,不影響業務的正常運行。

  • 因採集容器日誌異常而提交工單時,請在工單中上傳此檔案。

  • 檔案路徑

    /usr/local/ilogtail/docker_path_config.json

  • 檔案樣本

    $cat /usr/local/ilogtail/docker_path_config.json
    {
       "detail" : [
          {
             "config_name" : "##1.0##k8s-log-c12ba2028cfb444238cd9ac1286939f0b$nginx",
             "container_id" : "df19c06e854a0725ea7fca7e0378b0450f7bd3122f94fe3e754d8483fd330d10",
             "params" : "{\n   \"ID\" : \"df19c06e854a0725ea7fca7e0378b0450f7bd3122f94fe3e754d8483fd330d10\",\n   \"Path\" : \"/logtail_host/var/lib/docker/overlay2/947db346695a1f65e63e582ecfd10ae1f57019a1b99260b6c83d00fcd1892874/diff/var/log\",\n   \"Tags\" : [\n      \"nginx-type\",\n      \"access-log\",\n      \"_image_name_\",\n      \"registry.cn-hangzhou.aliyuncs.com/log-service/docker-log-test:latest\",\n      \"_container_name_\",\n      \"nginx-log-demo\",\n      \"_pod_name_\",\n      \"nginx-log-demo-h2lzc\",\n      \"_namespace_\",\n      \"default\",\n      \"_pod_uid_\",\n      \"87e56ac3-b65b-11e8-b172-00163f008685\",\n      \"_container_ip_\",\n      \"172.20.4.224\",\n      \"purpose\",\n      \"test\"\n   ]\n}\n"
          } 
       ],
       "version" : "0.1.0"
    }