Simple Log Service:構文の概要

DSL for Simple Log ServiceはPythonと互換性があります。 標準モードでは、DSLはPythonのサブセットと見なすことができます。 基本的なデータ構造と式を除いて、他の構文ルールは関数を使用して編成されます。 ユーザー定義関数 (UDF) を使用する場合は、 ticket

e_if(op_ge(op_len(json_parse(v("x"))), 1), e_set("x0", lst_get(v("x"), 0)))
e_if(op_ge(op_len(json_parse(v("x"))), 2), e_set("x1", lst_get(v("x"), 1)))

DSL for Simple Log Serviceの標準モードでは、すべての操作は関数を呼び出すことによって実行されます。 DSLは、グローバル処理関数と表現関数に分類される200を超える組み込み関数を提供します。

• グローバル処理機能

  グローバル処理関数は、ログを受信、処理、および返すために使用されます。 グローバル処理関数のみを使用して、変換ルールの各ステップを構築できます。

• Expression functions

  式関数は通常、特定のパラメータを受け取り、特定の値を返すために使用されます。 表現関数を組み合わせて、より柔軟なロジックを定義するパラメータとしてグローバル処理関数に渡すことができます。

次の表に、グローバル処理関数と式関数を示します。

グローバル処理関数は、ログを受信、処理、および返すために使用されます。

次の構文が使用されます。

Global Processing Function 1(..Parameters....)
Global Processing Function 2(..Parameters....)
Global Processing Function 3(..Parameters....)
Global Processing Function 4(..Parameters....)

グローバル処理機能は、フロー制御機能とイベント処理機能とにさらに分類することができる。 次の表に、関数を示します。

変換ロジック:

• 基本的な処理

  データ変換機能は、ソースLogstoreからストリーミングデータを読み取り、辞書構造の各ログを特定の関数に送信します。 次に、この機能は、変換ルールで指定された関数を順番に実行してイベントを処理し、変換結果を指定された宛先ログストアに書き込みます。

  説明

  ログのすべてのフィールドと値は文字列として送信されます。 たとえば、生ログ {"__time__": "1234567" 、"__topic__": "" 、"k1": "test"} は、e_set("f1", 200) 関数によって処理されます。 この関数は、値が200に設定されているf1フィールドを生ログに追加します。 次に、生ログは {"__time__": "1234567" 、"__topic__": "" 、"k1": "test" 、"f1": "200"} に変換されます。 このログでは、f1フィールドと値200は文字列です。

  変換ルールで指定されたイベント処理関数が順番に呼び出されます。 各関数はログを受信して処理し、処理されたログを返します。

  たとえば、e_set("type", "test") 関数は、値がtestに設定されているtypeフィールドをログに追加します。 next関数は、処理されたログを受け取り、処理します。

• 条件評価

  • e_if: e_if関数を呼び出して、条件式をプロセスログに追加できます。 ログが指定された条件を満たさない場合、対応する操作はスキップされます。 e_if関数はifロジックを実装します。

    たとえば、e_if(e_match("status", "200"), e_regex("data", "ret: \d +", "result")) 関数は、statusフィールドの値が200かどうかをチェックします。 値が200の場合、関数は指定された正規表現を使用してdataフィールドからresultフィールドを抽出します。 そうでなければ、操作は行われない。

  • e_if_else: この関数は、if_else関数と同様に機能します。

• 処理終了

  • 変換ルールのステップはログを返さない場合があります。 これは、関連ログが削除されたことを示します。

    たとえば、e_if(str_islower(v("result")), e_drop()) 関数を使用して、ログのresultフィールドの値が小文字のみで構成される文字列であるかどうかを確認します。 条件がtrueに評価された場合、ログは破棄され、以降の手順はこのログに対して実行されません。 システムは自動的に次のログを処理します。

  • 宛先ログストアにログが書き込まれた場合、処理は終了する。 たとえば、e_output関数を使用してログを宛先Logstoreに書き込み、ログを削除する場合、このログに対して以降の手順は実行されません。

    説明

    e_coutput関数は出力ログをコピーし、以降の手順はこのログに対して実行されます。

• 並列処理のためのログ分割

  変換ルールのステップは、複数のログを返す場合があります。 これは、関連するログが分割されていることを示します。

  たとえば、e_split(data) 関数は、dataフィールドの値に基づいてログを2つのログに分割します。 ログのdataフィールドの値が "abc, xyz" の場合、ログは2つのログに分割されます。 1つのログでは、dataフィールドの値はabcです。 もう一方のログでは、データフィールドの値はxyzです。

  分割後に生成されたログは、後続の手順で処理されます。

グローバル処理関数に加えて、DSL for Simple Log Serviceは、特定のパラメーターを受け取り、特定の値を返すために使用される200式関数を提供します。 グローバル処理関数で式関数または式関数の組み合わせを呼び出すことができます。 次の構文が使用されます。

Global Processing Function 1(Expression Function 1(...), ...)
Global Processing Function 2(..., Expression Function 2(...), Expression Function 3(...), ...)

式関数は、イベントチェック関数、リソース関数、制御関数、およびその他の式関数に分類できます。 次の表に、関数を示します。