Simple Log Service:検索構文

検索構文構造

文の書き込みプロセス

検索文は、検索タイプに基づいて検索構文を決定し、フィールドのデータタイプに基づいて演算子を指定してから、一致モードを決定する手順で記述できます。

ステップ1: 検索タイプの選択

• Logstoreにフルテキストインデックスのみを作成する場合は、フルテキスト検索構文のみを使用してクエリ条件を指定できます。

• Logstoreのフィールドインデックスのみを作成する場合、使用できる検索構文はフィールドのデータ型によって異なります。

  • Double and long: フィールド固有の検索構文のみを使用してクエリ条件を指定できます。

  • テキスト: キーワードが関連付けられているフィールドを特定でき、そのフィールドに対してフィールドインデックスが作成されている場合は、フィールド固有の検索構文を使用してクエリ条件を指定することをお勧めします。 キーワードが関連付けられているフィールドを特定できない場合は、全文検索構文を使用することを推奨します。

    • フルテキスト検索構文を使用しているが、Logstoreにフルテキストインデックスが作成されていない場合、インデックス付きデータがテキスト型であるフィールドからのみデータをクエリできます。

    • フルテキスト検索構文を使用し、Logstoreにフルテキストインデックスが作成されている場合、すべてのフィールドのデータをクエリできます。 この場合、すべてのフィールドのインデックス付きデータはテキスト型です。

フルテキスト検索構文

フルテキスト検索構文に基づいて特定のフィールドのデータをクエリすることはできません。 フルテキスト検索構文:

keywords1 [ [ and | または | not ] keywords2]

keywords1は、データのクエリに使用するキーワードを指定します。 アスタリスク (*) と疑問符 (?) を使用して、ファジーマッチを実行することもできます。 クエリ条件を組み合わせるには、and orなどの演算子を使用できます。

例1: Nginxキーワードを含むクエリログ。 検索文: Nginx。

例2: NginxまたはTomcatキーワードを含むログの照会。 検索文: NginxまたはTomcat

フィールド固有の検索構文

フィールド固有の検索構文に基づいて、特定のフィールドのデータをクエリできます。 フィールドには、text、long、double、またはJSONタイプを指定できます。 フィールド固有の検索構文:

indexname1[:|>|>=|<|<=|=|[in]keyword1[[および]|または|ない]indexname2...]

例1: requestMethodフィールド値がGETであるクエリログ。 検索文: requestMethod: GET

例2: requestTimeSpendフィールド値が500 msを超えるクエリログ。 検索文: requestTimeSpend > 500 フィールドのデータ型が長い。

例3: requestMethodフィールド値がGETであり、requestTimeSpendフィールド値が500ミリ秒より大きいクエリログ。 検索文: requestMethod: GET and requestTimeSpend > 500

手順2: フィールドデータ型の決定

フィールドデータ型

検索文を作成するときは、フィールドデータ型の特性をメモし、必要な演算子を使用します。 このようにして、文を使用して効率的かつ正確な方法でログを取得できます。

演算子

検索文の例

異なるインデックス設定に基づいて異なるログで検索ステートメントを実行すると、ステートメントは異なる結果を返します。 このセクションで提供される例は、次のサンプルログおよびインデックス設定に基づいています。

サンプルログ

NGINXアクセスログがサンプルログとして使用されます。

インデックス設定

一般的な検索例

request_method:GET and status in [200 299]

request_method:GET not region:cn-hangzhou

request_method:GET or request_method:POST

not request_method:GET

(request_method:GET or request_method:POST) and status in [200 299]

(request_method:GET or request_method:POST) not status in [200 299]

request_method:GET and status in [200 299] not request_time>=60

request_time:60

request_time=60

request_time>=60 and request_time<200

request_time in [60 200)

request_time > -1000000000

request_time > -1000000000

"and"

"request method":PUT

__topic__:HTTPS or __topic__:HTTP

__tag__:__client_ip__:192.0.2.1

* | select * from log where key like '192.168.%.%'

not remote_user:""

remote_user:""

not remote_user:"null"

not remote_user:*

remote_user:*

not city:Shanghai

高度な検索例

• ファジー検索

  期待される検索結果	検索文	デバッグ
  特定の単語を含むログ。 単語はcnで始まります。	cn*	デバッグ
  regionフィールドの値がcnで始まるログ。	region:cn*	なし
  regionフィールドの値にcn * が含まれるログ。	region:"cn*" 説明 この検索文では、cn * は完全な文字列です。 例： ログの内容がregion:cn *,enで、区切り文字がコンマ (,) の場合、Simple log Serviceはログの内容をregion、cn * 、およびenに分割します。 検索文を使用してログを検索できます。 ログの内容がregion:cn * hangzhouの場合、Simple log Serviceはcn * hangzhou全体を考慮します。 この場合、検索文を使用してログを検索することはできません。	なし
  特定の単語を含むログ。 単語はmoziで始まり、laで終わり、moziとlaの間に1文字が含まれます。	mozi?la	デバッグ
  特定の単語を含むログ。 単語はmoで始まり、laで終わり、moとlaの間に0、1、またはそれ以上の文字が含まれます。	mo*la	デバッグ
  特定の単語を含むログ。 言葉はmozまたはsaで始まります。	moz* and sa*	デバッグ
  regionフィールドの値がhaiで終わるログ。	検索文を使用してログを検索することはできません。 SQL文でLIKE句を使用して、ログを検索できます。 詳細については、「LIKE句を使用してファジー一致を実装する」をご参照ください。 * | select * from log where region like '%hai'	なし

• 区切り文字ベースの検索

  Simple Log Serviceは、指定した区切り文字に基づいて、ログの内容を複数の単語に分割します。 デフォルトの区切り文字は、'";=()[]{}?@&<>/:\n\t\rです。 Delimiterを空のままにすると、Simple Log Serviceは各フィールドの値を全体として考慮します。 この場合、完全な文字列を使用するか、あいまい検索を実行することによってのみ、ログを検索できます。 区切り文字の指定方法の詳細については、「インデックスの作成」をご参照ください。

  たとえば、http_user_agentフィールドの値は、Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.2 (KHTML, like Gecko) Chrome/192.0.2.0 Safari/537.2です。

  • Delimiterを空のままにすると、Simple Log Serviceはフィールド値全体を考慮します。 この場合、http_user_agent:Chrome検索文を使用してログを検索することはできません。

  • Delimiterを, '";=()[]{}?@&<>/:\n\t\rに設定した場合、Simple Log Serviceはフィールド値をMozilla、5.0、Windows、NT、6.1、AppleWebKit、537.2、KHTML、likeに分割します。2. ヤモリ、クローム、192.0.2.0、サファリ、537。 この場合、http_user_agent:Chrome検索文を使用してログを検索できます。

  説明

  検索キーワードに区切り文字が含まれている場合は、フレーズ検索を実行するか、LIKE句を使用できます。 例：

  • フレーズ検索: #"redo_index/1" 詳細については、「フレーズ検索」をご参照ください。

  • LIKE句: * | select * from log where key like 'redo_index/1'

  期待される検索結果	検索文	デバッグ
  http_user_agentフィールドの値にChromeが含まれるログ	http_user_agent:Chrome	デバッグ
  http_user_agentフィールドの値にLinuxおよびChromeが含まれるログ	http_user_agent:Linux and http_user_agent:Chrome	デバッグ
  	http_user_agent:"Linux Chrome"	デバッグ
  http_user_agentフィールドの値にFirefoxまたはChromeが含まれるログ	http_user_agent:Firefox or http_user_agent:Chrome	デバッグ
  request_uriフィールドの値に /request/path-2が含まれるログ	request_uri:/request/path-2	デバッグ
  request_uriフィールドの値が /requestで始まり、/file-0を含まないログ	request_uri:/request* not request_uri:/file-0	デバッグ
  redo_index/1フレーズが完全に一致するログ	#"redo_index/1" * | select * from log where key like 'redo_index/1' 説明 フレーズ検索を実行するか、LIKE句を使用してフレーズを完全に一致させることができます。 正確な検索を実行すると、redo_indexや1などの単語が一致します。	なし

特別なシナリオでのクエリ例

検索文

• フィールド名またはフィールド値に、スペース、漢字、コロン (:) 、ハイフン (-) などの特殊文字が含まれている場合、またはおよびまたはなどの構文キーワードが含まれている場合は、フィールド名またはフィールド値を二重引用符 ("") で囲む必要があります。

• Simple Log Serviceは、sort、asc、desc、group by、avg、sum、min、max、およびlimitの演算子をサポートしています。 演算子をキーワードとして使用する場合は、演算子を二重引用符 ("") で囲む必要があります。

• データ変換機能またはLogtailプラグインを使用してログを処理する場合、タグフィールドのキーは共通キーに変換されます。 ログを検索する場合は、キーの名前を二重引用符 ("") で囲む必要があります。 例: "__tag __:__ client_ip__":192.0.2.1 __tag __:__ client_ip__ フィールドは、Simple Log Serviceの予約済みフィールドです。 このフィールドは、ログを収集するホストのIPアドレスを示します。 詳細については、「予約済みフィールド」をご参照ください。

"request method":PUT

"__tag__:__client_ip__":192.0.2.1

分析ステートメント

• フィールド名やテーブル名などの固有名詞に、スペース、漢字、コロン (:) 、ハイフン (-) などの特殊文字が含まれている場合、またはおよびまたはなどの構文キーワードが含まれている場合は、分析ステートメントで固有名詞を二重引用符 ("") で囲む必要があります。

• 特定の文字が文字列を表す場合は、単一引用符 ('') を使用して、その文字を分析ステートメントで囲む必要があります。 例えば、 'status' はステータスの文字列を示し、status または "status" はステータスログフィールドを示します。

* | select * from log where key like '192.168.%.%'

詳細については、「」をご参照ください。クエリ文で引用符を使用するにはどうすればよいですか。

関連ドキュメント

• クエリ文で引用符を使用するにはどうすればよいですか。

• 分析関数と構文の詳細については、「分析関数と構文」をご参照ください。

• クエリのパフォーマンスの最適化

• トラブルシューティング

  • FAQ about log query

  • ログのクエリと分析で発生する一般的なエラーを解決するにはどうすればよいですか?

• ログクエリの例

  • クエリログを時間で正確にソートするにはどうすればよいですか?

  • Webサイトログの照会と分析

  • SLBのレイヤー7アクセスログの分析

  • フィールド値がJSONオブジェクトまたはJSON配列であるJSONログをクエリできます。 クエリと分析の例の詳細については、「JSONログのクエリと分析」および「JSONログのクエリと分析に関するFAQ」をご参照ください。