Simple Log Service:サービスログの種類

ログタイプ

概要

ログストア

ログの詳細

説明

詳細なログ

作成、変更、削除、読み取り、書き込み操作など、プロジェクト内のリソースに対して実行される操作を記録します。

internal-operation_log

操作ログ

Simple Log Serviceコンソールで送信され、コンシューマーグループとSDKを使用して送信されるリクエストを含む、すべてのAPIリクエストの詳細なログ。

重要なログ

消費者グループの消費遅延イベント、およびLogtailのエラー、ハートビート、統計に関連するイベントをLogstoreで記録します。

internal-diagnostic_log

消費者グループの消費遅延ログ

消費者グループの消費遅延ログ。 これらのログは2分間隔で生成されます。 コンシューマーグループの消費遅延ログをクエリする場合は、クエリステートメントで __topic __: consumergroup_logを指定する必要があります。

Logtailアラートログ

Logtailにエラーを記録するアラートログ。

アラートログは30秒間隔で生成されます。 同じエラーが30秒以内に複数回発生した場合、アラートログは1つだけ生成されます。 アラートログには、エラーが発生した合計回数と1つのエラーメッセージが含まれます。 Logtailアラートログをクエリする場合は、クエリステートメントで __topic __: logtail_alarmを指定する必要があります。

Logtail収集ログ

Logtail設定に関する統計を記録する収集ログ。

これらのログは10分間隔で生成されます。 Logtail収集ログをクエリする場合は、クエリステートメントで __topic __: logtail_profileを指定する必要があります。

Logtailステータスログ

Logtailのステータスログ。 Logtailは定期的にステータスを報告します。

これらのログは1分間隔で生成されます。 Logtailステータスログをクエリする場合は、クエリステートメントで __topic __: logtail_statusを指定する必要があります。

ジョブ操作ログ

指定したプロジェクトのデータ変換 (新バージョン) ジョブ、スケジュールされたSQLジョブ、データインポートジョブ、およびデータ配布 (新バージョン) ジョブの実行中のメトリクスと操作を記録します。

internal-diagnostic_log

スケジュールされたSQLジョブの操作ログ

Scheduled SQLインスタンスは、Scheduled SQLログに対応します。 スケジュールされたSQLインスタンスの実行が停止すると、ログが報告されます。

スケジュールされたSQL操作ログをクエリする場合は、クエリステートメントで __topic __: scheduled_sql_alertを指定する必要があります。

データ変換 (新バージョン) ジョブ、データインポートジョブ、データシッピング (新バージョン) ジョブの操作ログ

これらのログは1分間隔で生成されます。 ジョブ関連のデータソースにデータがない場合、ログは報告されません。

カテゴリ

リクエスト方法

読み取り操作ログ

読み取り操作ログは、次のAPI操作を呼び出すと生成されます。

• GetHistograms

• GetLogs

• プルログ

• GetCursor

• GetCursorTime

操作ログの書き込み

書き込み操作ログは、次のAPI操作を呼び出すと生成されます。

• PostLogStoreLogs

• PutWebTracking

• WebTrackingImg

• BatchPostLogStoreLogs

• WebTracking

• PutData

リソース操作ログ

リソース操作ログは、次のAPI操作を呼び出すと生成されます。

CreateProjectやDeleteProjectなどのAPI操作

項目

説明

例

logstore

ログストアの名前

logstore-1

config_name

Logtail設定の名前。 名前は、##Logtail構成バージョン## プロジェクト名 $configuration nameの形式である必要があります。

##1.0# プロジェクト-1$logstore-1

エラー_ライン

エラーの原因となる生ログ。

M_INFO_COL,all_status_monitor,T22380,0,2018-04-17 10:48:25.0,AY66K,AM5,2018-04-17 10:48:25.0,2018-04-17 10:48:30.561,i-23xebl5ni.1569395.715455 901,00789b

ファイル_dev

ログファイルのデバイスID。

123

ファイル_inode

ログファイルのiノード。

124

file_name

ログファイルの完全パスまたはlogstore_statisticsの値。

/abc/file_1

ファイル_サイズ

ログファイルのサイズ。 単位はバイトです。

12345

history_data_失敗

データの処理に失敗した回数。

0

last_read_time

指定された時間ウィンドウでの最後の読み取り時刻。 この値は UNIX タイムスタンプです。

1525346677

project

プロジェクトの名前。

project-1

logtail_version

Logtailのバージョン。

0.14.2

os

オペレーティングシステム。

Windows

parse_failures

指定された時間ウィンドウで解析に失敗した行の数。

12

read_avg_delay

指定したタイムウィンドウでログデータを読み込むたびに生成されるオフセット値と実際のファイルサイズの差の平均値。

65

read_count

指定された時間ウィンドウでの読み取り数。

10

read_offset

ログファイルの最後の読み取りオフセット。 単位はバイトです。

12345

regex_match_失敗

正規表現が一致しない回数。

1

send_failures

指定された時間ウィンドウ内にログが送信されない回数。

12

source_ip

LogtailがインストールされているサーバーのIPアドレス。

47.100。**。** 。

success_lines

処理される行の数。

123

time_format_失敗

ログ時間が一致しない回数。

122

total_bytes

読み取られるデータの合計サイズ。 単位はバイトです。

12345

項目

説明

例

send_block_フラグ

指定された時間ウィンドウの終了時に送信キューがブロックされるかどうかを示します。

false

send_discard_エラー

指定された時間枠内にデータエラーまたは不十分な権限が原因で破棄されたパケットの数。

0

send_network_エラー

指定された時間ウィンドウ内にネットワークエラーが原因で送信に失敗したパケットの数。

12

send_queue_size

指定された時間ウィンドウが終了したときの現在の送信キュー内の未送信パケットの数。

3

send_quota_エラー

指定された時間ウィンドウでLogtailクォータを超えたために送信に失敗したパケットの数。

0

send_success_count

指定された時間ウィンドウ内に送信されたパケットの数。

12345

sender_valid_フラグ

指定された時間ウィンドウが終了したときに、現在のLogstoreの送信フラグが有効かどうかを示します。 有効な値：

• true: フラグが有効です。

• false: ネットワークまたはクォータのエラーにより、フラグが無効になっています。

true

max_send_success_time

指定された時間ウィンドウでデータが最後に送信された時刻。 この値は UNIX タイムスタンプです。

1525342763

max_unsend_time

指定された時間ウィンドウ内に送信キュー内のパケットの送信に失敗した最後の時刻。 この値は UNIX タイムスタンプです。 送信キューが空の場合、値は0です。

1525342764

min_unsend_time

指定された時間ウィンドウ内に送信キュー内のパケットの送信に失敗した最初の時間。 この値は UNIX タイムスタンプです。 送信キューが空の場合、値は0です。

1525342764

項目

説明

例

config_count

Logtail設定の数。

1

config_get_last_time

Logtail設定が最後に取得された時刻。

2021-07-20 16:19:22

config_update_count

Logtailが起動された後のLogtail設定の更新数。

1

config_update_item_count

Logtailの起動後に更新された設定項目の総数。

1

config_update_last_time

Logtailが開始された後の最後のLogtail設定の更新時刻。

2021-07-20 16:18:42

env_config

環境変数を使用してLogtail設定を作成するかどうかを示します。

false

event_tps

1秒あたりのトランザクション数 (TPS) 。

1

last_read_event_time

データが最後に読み取られた時刻。

2021-07-20 16:18:42

last_send_time

データが最後に送信された時刻。

2021-07-20 16:18:42

multi_config

同じファイルからログを収集するために複数のLogtail設定が有効になっているかどうかを示します。

false

net_err_stat

前の1、5、および15分間にネットワーク送信エラーが発生した回数。

0,0,0

open_fd

開いているログファイルの数。

1

plugin_enabled

Logtailプラグインが有効かどうかを示します。

• true: Logtailプラグインが有効になっています。

• false: Logtailプラグインは無効です。

false

poll_modify_size

変更された監視対象ログファイルの数。

1

polling_dir_キャッシュ

スキャンされたディレクトリの数。

1

polling_file_キャッシュ

スキャンしたファイルの数。

1

process_bytes_ps

1秒あたりに処理されるログデータのサイズ。 単位はバイトです。

1000

process_lines_ps

1秒あたりに処理されるログの数。

1000

process_queue_full

最大処理能力に達する処理キューの数。

1

process_queue_total

処理キューの総数。

10

process_tps

1秒あたりのデータ処理トランザクション数。

0

reader_count

処理中のログファイルの数。

1

region

Logtailが存在するリージョン。

cn-hangzhou

register_handler

监视するディレクトリの数。

1

send_bytes_ps

1秒あたりに送信される生ログデータのサイズ。 単位はバイトです。

11111

send_lines_ps

1秒あたりに送信されるログの数。

1000

send_net_bytes_ps

1秒あたりに送信されるネットワークデータの量。 単位はバイトです。

1000

send_queue_full

最大送信容量に達する送信キューの数。

1

send_queue_total

送信キューの総数。

12

send_request_並行性

送信キューから同時に送信できるパケットの最大数。

10

send_tps

1秒あたりのデータ送信トランザクション数。

0.075

sender_invalid

異常な送信キューの数。

0

start_time

開始時刻

2021-07-20 16:19:22

used_sending_並行性

同時に送信されるパケットの数。

0

項目

説明

例

アクション

タスクによって実行される操作。 有効な値：

• ingest: データソースからデータを読み取ります。

• deliverer: 宛先にデータを書き込みます。

摂取

コネクター

データソースまたは宛先のタイプ。

• sls: シンプルなログサービス

• oss: Object Storage Service (OSS)

• maxcompute: MaxCompute

• cms: CloudMonitor

• cloudtrail: AWS CloudTrail

• kafka: Apache Kafka

• elasticsearch: Elasticsearch

• mysql: オープンソース、サードパーティ、またはAlibaba Cloud MySQL

• mssql: オープンソース、サードパーティ、またはAlibaba Cloud SQL Server

oss

インスタンス

データソースインスタンスまたは宛先インスタンスの名前。

my-oss-bucket

task_id

タスクのID。

1669277

task_name

タスクの名前。

1652765276578_task_0

task_type

タスクの ID を設定します。 有効値: CONNECTOR。

コネクター

項目

説明

例

state

タスクのステータスです。

• 0: タスクが実行中です。

• 1: エラーが報告され、実行の進行が遅くなる可能性があります。

• 2: タスクが失敗し、実行の進行がブロックされました。

0

エラー

タスクのエラーメッセージ。

エラーメッセージが存在しない場合、フィールドはログに表示されません。

ログのプルに失敗、不正

遅れ

タスクの進行状況。

このフィールドは、データの読み取りに使用されるタスクでのみ使用できます。 lagsフィールドは、actionフィールドの値が取り込み中の場合にのみログに表示されます。 このフィールドの値は、connectorフィールドで指定されるデータソースのタイプによって異なります。

• connectorフィールドの値がslsの場合、lagsフィールドの値はシャード単位の消費遅延を示します。 単位は秒です。

• connectorフィールドの値がkafkaの場合、lagsフィールドの値はトピックごとの消費遅延を示します。

• connectorフィールドの値がcmsの場合、lagsフィールドの値はCloudMonitorからのデータ読み取りの遅延を示します。 単位は秒です。

0.813

desc

このフィールドは、データの読み取りに使用されるタスクでのみ使用できます。 descフィールドは、actionフィールドの値がインジェストの場合にのみログに表示されます。 このフィールドの値は、connectorフィールドで指定されるデータソースのタイプによって異なります。

• connectorフィールドの値がslsの場合、descフィールドの値はs (時間単位) です。

• connectorフィールドの値がkafkaの場合、descフィールドの値はlagsの説明です。

• connectorフィールドの値がcmsの場合、descフィールドの値はs (時間単位) です。

秒

イベント

指定された時間範囲内に処理されるデータエントリの数。

13245

失敗しました

指定された時間範囲内に処理に失敗したデータエントリの数。

3

native_bytes

指定された時間範囲内に処理される生データのサイズ。

7539125

events_bytes

指定された時間範囲内に処理される解析済みデータのサイズ。

13295475

pub_net_バイト

指定された時間範囲内にインターネット上で処理されるトラフィックの量。

45678

req_count

指定された時間範囲内にデータソースまたは宛先に送信されたリクエストの数。

89

req_count

指定された時間範囲内のデータソースまたは宛先の平均要求レイテンシ。

38

rate_limit_ヒット

データソースまたは宛先に送信されたリクエストが、指定された時間範囲内でスロットリングされる時間数。

1

エクストラ

その他の関連情報。 このフィールドは、フィールドの値が存在する場合にのみログに表示されます。

このフィールドの値は、connectorフィールドで指定されるデータソースのタイプによって異なります。

{"events":"898","objectName":"shenzhen/2022/05/18/15/19_1652858350000000000_315eb857efeb9f00.snappy","objectSize":"212792"}