Simple Log Service:一般的な参考文献

フィールド名の競合の処理

ログのアップロードまたはSPLの実行中に、大文字と小文字が区別される処理でフィールド名の競合が発生する可能性があります。 たとえば、生のログにメソッドフィールドとメソッドフィールドの両方が含まれている場合、競合が存在します。 SPLは、さまざまなシナリオでさまざまなメソッドを使用してフィールド名の競合を解決します。

次の競合を防ぐために、生ログの重複フィールドを削除することをお勧めします。

出力結果の競合

Simple Log Serviceの予約フィールドの詳細については、「予約フィールド」をご参照ください。 SPLは、Simple Log ServiceのLogGroupからデータを入力として読み取ります。 LogGroupの定義の詳細については、「データエンコーディング」をご参照ください。 Simple Log Serviceに書き込まれた生データがLogGroupのエンコード仕様に準拠していない場合、またはLogGroupではなくLogContentに予約フィールドが含まれている場合、SPLは次のポリシーに基づいて予約フィールドを読み取ります。

• __source__ 、__topic__ 、__time__ 、および __time_ns_part__ フィールドの場合、SPLはLogGroupからフィールド値を読み取り、LogContentの重複フィールドの値を無視します。

• 名前の先頭に __tag __: が付いているタグフィールドの場合、SPLはLogGroupからフィールド値を優先的に読み取ります。 フィールド値が見つからない場合、SPLはLogContentからフィールド値を読み取ります。 たとえば、__tag __: ipフィールドの場合、SPLはLogTagのリストからキーがipであるフィールドを優先的に読み取ります。 値が見つからない場合、SPLはLogContentのカスタムフィールドのリストからキーが __tag __: ipであるフィールドを読み取ります。

__line__のフルテキストフィールド

Simple Log Serviceコンソールで、またはGetLogstoreLogs操作を呼び出して生ログをフィルタリングする場合は、__line__フィールドを使用できます。

例

• キーワードエラーを使用してログを検索します。

* | where __line__ like '%error%'

• ログに__line ___という名前のフィールドが含まれている場合は、フィールドを引用するには、フィールド名を '__line__' などの記号で囲む必要があります。

* | where `__line__` ='20'

古い値と新しい値の不一致

入力フィールドの値は保持されます。

例

• 例1: プロジェクト命令が実行されると、出力フィールドは入力フィールドと同じ名前になります。

  • SPLステートメント

    * 
    | extend status=cast(status as BIGINT) -- Convert the data type of the status field into BIGINT.
    | project code=status -- The old data type of the code field is VARCHAR, and the new data type of the field is BIGINT. Retain the old value of the field.

  • 入力データ

    status: '200'
    code: 'Success'

  • 出力結果

    code: 'Success'

• 例2: parse-json命令が実行された後、抽出されたフィールドは入力フィールドと同じ名前が付けられます。

  • SPLステートメント

    * 
    | extend status=cast(status as BIGINT) -- Convert the data type of the status field into BIGINT.
    | parse-json content -- The old data type of the status field is BIGINT, and the new data type of the field is VARCHAR. Retain the old value of the field.

  • 入力データ

    status: '200'
    content: '{"status": "Success", "body": "this is test"}'

  • 出力結果

    content: '{"status": "Success", "body": "this is test"}'
    status: 200
    body: 'this is test'

古い値と新しい値の一貫性のあるデータ型

出力フィールドの名前が値がnullの入力フィールドと同じである場合、新しいフィールド値が使用されます。 入力フィールド値がヌルでない場合、出力フィールドの値は、実行される命令内のmodeパラメータに基づいて決定される。

例

• 例1: プロジェクト命令が実行されると、出力フィールドは入力フィールドと同じ名前になります。 2つのフィールドは同じデータ型で、modeパラメーターのデフォルト値が使用されます。 デフォルト値はoverwriteです。

  • SPLステートメント

  * | project code=status -- The old and new data types of the code field are VARCHAR. In overwrite mode, the new value is used.

  • 入力データ

    status: '200'
    code: 'Success'

  • 出力結果

    code: '200'

• 例2: parse-json命令が実行された後、抽出された出力フィールドは入力フィールドと同じ名前が付けられます。 2つのフィールドは同じデータ型で、modeパラメーターのデフォルト値が使用されます。 デフォルト値はoverwriteです。

  • SPLステートメント

    * | parse-json content -- The old and new data types of the status field are VARCHAR. In overwrite mode, the new value is used.

  • 入力データ

    status: '200'
    content: '{"status": "Success", "body": "this is test"}'

  • 出力結果

    content: '{"status": "Success", "body": "this is test"}'
    status: 'Success'
    body: 'this is test'

• 例3: parse-json命令が実行された後、抽出された出力フィールドは入力フィールドと同じ名前が付けられます。 2つのフィールドは同じデータ型で、modeパラメーターは保持するように設定されています。

  • SPLステートメント

    * | parse-json -mode='preserve' content -- The old and new data types of the status field are VARCHAR. In preserve mode, the old value is used.

  • 入力データ

    status: '200'
    content: '{"status": "Success", "body": "this is test"}'

  • 出力結果

    content: '{"status": "Success", "body": "this is test"}'
    status: '200'
    body: 'this is test'

データ型の変換

初期タイプ

SPLを使用する場合、ログの時間フィールドを除き、すべての入力フィールドの初期タイプはVARCHARです。 厳密に型指定されたデータが後続の処理に含まれる場合、データ型変換が必要です。

例

ステータスコード5xxを使用してアクセスログをフィルタリングする場合は、ステータスフィールドのデータ型をBIGINTに変換してからデータを比較する必要があります。

* -- The initial type of the status field is VARCHAR.
| where cast(status as BIGINT) >= 500 -- Convert the data type of the status field into BIGINT and then compare data.

タイプ保持

SPLの実行中にextend命令を使用してフィールドのデータ型を変換する場合、新しいデータ型は後続の処理で使用されます。

例

* -- A Logstore is used as the input data. The initial type of all input fields is VARCHAR, except for the time fields.
| where __source__='127.0.0.1' -- Use the __source__ field for filtering.
| extent status=cast(status as BIGINT) -- Convert the data type of the status field into BIGINT.
| project status, content
| where status>=500 -- The data type of the status field is retained as BIGINT. The field value can be directly compared with the number 500.

null値の生成

次のシナリオでは、SPLの実行中にnull値が生成されます。

1. SPL式で指定されたフィールドが入力データに存在しない場合、システムはフィールドの値を計算のnullと見なします。

2. SPL式の計算処理中にエラーが発生した場合、システムは計算結果としてnullを返します。 このエラーには、キャスト関数によるデータ型変換の失敗と、Array Index Out Of Boundsエラーが含まれます。

例

1. フィールドが存在しない場合、値nullが計算に使用されます。

• SPLステートメント

* | extend withoutStatus=(status is null)

• 入力データ

# Entry 1
status: '200'
code: 'Success'

# Entry 2
code: 'Success'

• 出力結果

# Entry 1
status: '200'
code: 'Success'
withoutStatus: false

# Entry 2
code: 'Success'
withoutStatus: true

2. 計算プロセス中にエラーが発生した場合、計算結果はnullになります。

• SPLステートメント

  *
  | extend code=cast(code as BIGINT) -- The data type of the code field failed to be converted into BIGINT.
  | extend values=json_parse(values)
  | extend values=cast(values as ARRAY(BIGINT))
  | extend last=arr[10] -- An Array Index Out Of Bounds error occurred.

• 入力データ

  status: '200'
  code: 'Success'
  values: '[1,2,3]'

• 出力結果

  status: '200'
  code: null
  values: [1, 2, 3]
  last: null

null値の削除

計算中にnull値を削除するには、COALESCE式を使用して複数の値を優先的に関連付け、最初のnull以外の値を最終的な計算結果として使用する必要があります。 すべての式がnullを返す場合、最終的な計算結果としてデフォルト値を指定できます。

例

配列の最後の要素を読み取ります。 配列が空の場合、デフォルト値0が返されます。

• SPLステートメント

  *
  | extend values=json_parse(values)
  | extend values=cast(values as ARRAY(BIGINT))
  | extend last=COALESCE(values[3], values[2], values[1], 0)

• 入力データ

  # Entry 1
  values: '[1, 2, 3]'
  
  # Entry 2
  values: '[]'

• 出力結果

  # Entry 1
  values: [1, 2, 3]
  last: 3
  
  # Entry 2
  values: []
  last: 0