Simple Log Service:LogReduce

メリット

• この機能は、複数の形式でログをクラスタ化できます。 例: Log4j、JSON、および単一行のログ。

• この機能は、数億のログを数秒でクラスタ化できます。

• この機能は、複数のパターンでログをクラスタ化できます。

• パターンシグネチャに基づいてパターンごとにクラスタ化された生ログを取得できます。

• さまざまな期間に抽出されたパターンを比較できます。

• ビジネス要件に基づいて、ログクラスタリングの精度を調整できます。

インデックストラフィック

LogReduce機能の有効化

1. Log Serviceコンソールにログインします。

2. [プロジェクト] セクションで、管理するプロジェクトをクリックします。

3. [ログストレージ] > [ログストア] タブで、管理するログストアをクリックします。

4. LogReduce機能を有効にします。

   1. [インデックス属性] > [属性] を選択します。

      インデックス作成機能が有効になっていない場合は、[有効にする] をクリックします。

   2. [検索と分析] パネルで、[LogReduce] をオンにします。

   3. オプション:フィールドごとにログをクラスタ化するホワイトリストまたはブラックリストを設定します。

      説明

      ホワイトリストとブラックリストの両方を設定することはできません。

      LogReduceフィルター	説明
      ホワイトリスト	ホワイトリストを設定した後、Log Serviceはホワイトリストのフィールドを使用してログをクラスター化します。
      ブラックリスト	ブラックリストを設定した後、Log Serviceはブラックリストのフィールドを使用してログをクラスター化しません。
      ホワイトリストまたはブラックリストが設定されていません	ブラックリストまたはホワイトリストを設定しない場合、Log Serviceはすべてのフィールドと指定したクラスタリングルールに基づいてログをクラスター化します。

   4. [OK] をクリックします。

ログのクラスタリング結果と生ログの表示

1. クエリと分析ページで、検索ボックスに検索文を入力し、クエリの時間範囲を指定して、[検索と分析] をクリックします。

   説明

   検索文のみを使用してログをフィルタリングできます。 LogReduce機能は分析結果をクラスター化できないため、分析ステートメントを使用してログをフィルタリングできません。

2. [LogReduce] タブをクリックして、ログのクラスタリング結果を表示します。

   [新しいダッシュボードに追加] をクリックすると、ログのクラスタリング結果をダッシュボードに保存できます。

   

   パラメーター	説明
   番号	ログクラスタの序列番号です。
   カウント	指定されたクエリ時間範囲内のパターンのログ数。
   パターン	ログパターン。 各ログクラスタは、1つ以上のサブパターンを有する。

   • ログクラスターのサブパターンを表示するには、[カウント] 列の数値の上にポインターを移動します。 ログクラスター内の各サブパターンの割合を表示することもできます。 [カウント] 列の数値の横にあるプラス記号 ([+]) をクリックして、サブパターンリストを展開します。

   • [カウント] 列で数値をクリックします。 [生ログ] タブに移動します。 このタブでは、パターンの生ログを表示できます。

ログクラスタリングの精度を変更する

異なる期間にクラスター化されたログの数を比較する

1. LogReduce タブで、Log Compareをクリックします。

2. 時間範囲を指定し、[OK] をクリックします。

   たとえば、ログのクエリ時に時間範囲を15分に設定し、ログ比較に1日を指定した場合、ログ比較の開始時刻と終了時刻が自動的に表示されます。 比較のための時間範囲は、最後の15分と前日の15分です。

   パラメーター	説明
   回	ログクラスターの序数。
   Pre_Count	ログ比較で指定された時間範囲内のパターンのログ数。
   集計	クエリに指定された時間範囲内のパターンのログ数。
   差分	Pre_Count列とCount列のログ数と成長率の差。
   Pattern	ログパターン。

クエリ文の例

クエリステートメントを使用して、ログクラスタリング結果を取得できます。

• ログクラスタリング結果の取得

  • クエリ文

    * | select a.pattern, a.count,a.signature, a.origin_signatures from (select log_reduce(3) as a from log) limit 1000 

    説明

    ログクラスタリング結果を表示するときに、[クエリのコピー] をクリックして、ログクラスタリング結果のクエリステートメントを取得できます。

  • パラメーターを変更する

    クエリステートメントのlog_reduce(precision) のパラメーター設定を変更します。 precisionパラメーターは、ログクラスタリングの精度を指定します。 値が小さいほど精度が高く、パターンが多いことを示す。 有効な値: 1 ~ 16。 デフォルト値: 3。

  • 返されたフィールド

    ログクラスタリングの詳細は、[グラフ] タブで確認できます。

    パラメーター	説明
    pattern	ログパターン。
    集計	クエリに指定された時間範囲内のパターンのログ数。
    signature	ログパターンのシグネチャ。
    origin_signatures	ログパターンのセカンダリ署名。 セカンダリ署名を使用して生ログを取得できます。

• 異なる期間にクラスター化されたログの数を比較します。

  • クエリ文

    * | select v.pattern, v.signature, v.count, v.count_compare, v.diff from (select compare_log_reduce(3, 86400) as v from log) order by v.diff desc limit 1000 

    説明

    ログ比較を使用して異なる期間のログクラスタリング結果を比較する場合、[クエリのコピー] をクリックして、ログクラスタリング結果のクエリステートメントを取得できます。

  • パラメーターを変更する

    クエリステートメントのcompare_log_reduce(precision, compare_interval) のパラメーター設定を変更します。

    • precisionパラメーターは、ログクラスタリングの精度を指定します。 値が小さいほど精度が高く、パターンが多いことを示す。 有効な値: 1 ~ 16。 デフォルト値: 3。

    • compare_intervalパラメーターは、比較する2つの時間範囲の時間差を指定します。 値は正の整数です。 単位：秒。

  • 返されたフィールド

    パラメーター	説明
    pattern	ログパターン。
    count_compare	比較のために指定された前回の時間範囲内のパターンのログ数。
    集計	クエリに指定された時間範囲内のパターンのログ数。
    diff	count列とcount_compare列のログ数の差。
    signature	ログパターンのシグネチャ。

LogReduce機能を無効にする

LogReduce機能を使用する必要がなくなった場合は、その機能を無効にできます。

1. この機能を無効にするログストアのクエリと分析ページで、[インデックス属性] > [属性] を選択します。

2. LogReduceをオフにします。

3. [OK] をクリックします。