現在、Data Quality Center (DQC) には 36 のテンプレートルールがあります。本ページでは、そのすべてについて説明します。

変動計算

変動 = (サンプル - 参照値) / 参照値

変動差異計算

(現在のサンプル - 過去の N 日間の平均値) / 標準偏差

用語集

  • Sample: SQL タスクテーブルの行数、1 日の変動検出など、1 日ごとに収集された特定のサンプルの値。 [Sample] は、当日におけるテーブルのパーティション数です。
  • Reference value: 過去のサンプルとの比較。
    • たとえば、[rule] は SQL タスクテーブル内の行数、および 1 日の変動検出であり、参照値は前日に生成されたテーブルのパーティションの数です。
    • たとえば、rule は SQL タスクテーブル内の行数、および 7 日間の変動検出であり、参照値は過去 7 日間における、テーブル行内の平均データ値です。

検証ロジック

現在、Data Quality では、変動検出値、および固定値検証メソッドの比較 のみ、サポートしています。

検証メソッド 検証ロジック
変動検出値
  • チェック値の絶対値がオレンジのしきい値以下の場合は、" normal" を返します。
  • チェック値の絶対値が 1 番目の条件を満たさず、赤のしきい値以下の場合、オレンジのアラームがトリガーされます。
  • チェック値が 2 番目の条件を満たさない場合、赤のアラームがトリガーされます。
  • オレンジのしきい値がない場合は、2 つのケースだけが考えられます。赤のアラームと "正常" の場合です。
  • 赤のしきい値がない場合、2 つのケースだけが考えられます。オレンジのアラームと "正常" の場合です。
  • いずれも満たされていない場合、フロントエンドでは 2 つのしきい値を空白のままにすることが許可されていないため、赤のアラートがトリガーされます。
固定値の比較
  • チェック式に従って、s opt expect を計算し、ブール値を返します。opt は、"greater than"、"less than"、"equal to"、"greater than or equal to"、"less than or equal to"、"not equal to" をサポートしています。
  • 前述の式により、"true" の場合は "normal" を返し、"false" の場合は赤のアラームがトリガーされます。

テンプレートルール

テンプレートレベル テンプレート名 説明
1 The average value of the field, fluctuation compared to the one day, one week, one month before. このフィールドの平均値を取り、1 日、7 日、1 か月の期間と比較して、変動を計算します。 その後、しきい値と変動値を比較し、アラームがある場合は自動的にトリガーされます。
2 The summary value of the field, fluctuation compared to the one day, one week, one month before. このフィールドの合計値を取り、1 日、7 日、1 か月の期間と比較し、変動を計算します。 その後、しきい値と変動値を比較し、アラームがある場合は自動的にトリガーされます。
3 The minimum value of the field, fluctuation compared to the one day, one week, one month before. このフィールドの最小値を取り、1 日、7 日、1 か月の期間と比較し、変動を計算します。 その後、しきい値と変動値を比較し、アラームがある場合は自動的にトリガーされます。
4 The maximum value of the field, fluctuation compared to the one day, one week, one month before. このフィールドの最大値を取り、1 日、7 日、1 か月の期間と比較し、変動を計算します。 その後、しきい値と変動値を比較し、アラームがある場合、自動的にトリガーされます。
5 The number of unique values in the field. 重複の削除後に固有値数をカウントし、期待数と比較を行う固定値の検証です。
6 The number of unique values in the field, volatility compared to the one day, one week, one month before. 重複の削除後に固有値数をカウントし、1 日、7 日、1 か月の期間と比較を行う固定値の検証です。
7 The number of rows in the table, fluctuation compared to the one day, one week, one month before. 1 日前、1 週間前、および 1 か月前に収集されたテーブルの行数と比較し、変動を計算します。
8 The number of null values in the field. フィールドの NULL 値の数と固定値が比較されます。
9 The number of null values in the field / Total number of rows. NULL 値の割合を得るため、NULL 値の数と合計行数を計算し、固定値と比較します。 注記: 固定値は 10 進数です。
10 The number of duplications in the field / Total number of rows. 合計行数に対する重複値の数の割合です。固定値と比較します。
11 The number of duplicated values in the field. フィールド内の合計行数から、重複値を引いた数です。重複値の数と固定値が比較されます。
12 The number of unique values in the field / Total number of rows. 合計行数に対する固有値の数の割合です。固定値と比較します。
13 The average value of the field, fluctuation compared to the one day before. フィールドの平均値を取り、前の期間と比較します。 変動を計算した後、しきい値と比較します。
14 The summary value of the field, fluctuation compared to the one day before. このフィールドの平均値を取り、前の期間と比較します。 変動を計算した後、しきい値と比較します。
15 The minimum value of the field, fluctuation compared to the one day before. このフィールドの最大値を取り、前日と比較します。 ボラティリティ値を計算した後、しきい値と比較します。
16 The maximum value of the field, fluctuation compared to the one day before. このフィールドの最大値を取り、前日と比較します。変動を計算した後、しきい値と比較します。
17 The summary value of the field, fluctuation compared to the previous period. このフィールドの合計値を取り、前日と比較した後、変動を計算します。 その後、しきい値と比較します。アラームがある場合、自動的にトリガーされます。
18 The minimum value of the field, fluctuation compared to the previous period. このフィールドの最小値を取って前の期間と比較し、ボラティリティ値を計算します。 その後、しきい値と比較します。アラームがある場合、自動的にトリガーされます。
19 The maximum value of the field, fluctuation compared to the previous period. このフィールドの最大値を取って前の期間と比較し、変動を計算します。 その後、しきい値と比較します。アラームがある場合、自動的にトリガーされます。
20 Table size (bytes) is unchanged, compared to the previous period. 前期間と比較し、テーブルのサイズ (バイト) は同じです。
21 Table size (bytes) has changed, compared to the previous period. 前期間と比較し、テーブルのサイズ (バイト) が変わっています。
22 The number of rows in the table has changed, compared to the previous period. 前期間と比較し、テーブルの行数が変わっています。
23 The number of rows in the table is unchanged, compared to the previous period. 前期間と比較し、テーブルの行数は同じです。
24 Table size, difference value compared to the previous period (bytes). 前期間と比較したテーブルサイズの差分値 (バイト) です。
25 The number of rows in the table, difference value compared to the previous period. 参照値は、前期間に生成されたテーブルのパーティションの数です。 当日に収集されたテーブルの行数と比較した後、差分値を比較します。
26 The number of rows in the table. テーブル内の行数です。
27 Table space size (bytes). テーブルスペースのサイズ (バイト) です。
28 The number of rows in the table, difference value compared to one day before. 参照値は、1 日前に生成されたテーブルのパーティションの数です。 当日に収集されたテーブルの行数と比較した後、差分値を比較します。
29 Table space size, difference value compared to one day before (bytes). 1 日前と比較したテーブルスペースサイズの差分値 (バイト) です。
30 Table space size, fluctuation compared to the one day before. テンプレートは、テーブルサイズモニタリングの変動です。 サンプルは前日の割り当てられたサンプルと比較されます。 オレンジのしきい値が 5 ％、赤のしきい値が 10 ％の場合、変動が 5 ％ より大きく 10 ％ 以下だと、オレンジのアラームがトリガーされます。 オレンジのしきい値が 10 ％ を超えていると、赤のアラームがトリガーされます。
31 Table space size, fluctuation compared to the one week before. テンプレートは、テーブルサイズモニタリングの変動です。 サンプルは前週の割り当てられたサンプルと比較されます。 オレンジのしきい値が 5 ％、赤のしきい値が 10 ％の場合、変動が 5 ％ より大きく 10 ％ 以下だと、オレンジのアラームがトリガーされます。 オレンジのしきい値が 10 ％ を超えていると、赤のアラームがトリガーされます。
32 Table space size, fluctuation compared to the one month before. テンプレートは、テーブルサイズモニタリングの変動です。 サンプルは前月の割り当てられたサンプルと比較されます。 オレンジのしきい値が 5 ％、赤のしきい値が 10 ％の場合、変動が 5 ％ より大きく 10 ％ 以下だと、オレンジのアラームがトリガーされます。 オレンジのしきい値が 10 ％ を超えていると、赤のアラームがトリガーされます。
33 The number of rows in the table, average fluctuation value compared to the last seven days. 参照値は、直近 7 日間のテーブル行数の平均値です。
34 The number of rows in the table, average fluctuation value compared to the last thirty days. 参照値は、過去 30 日間のテーブル行数の平均値です。
35 The number of rows in the table, fluctuation compared to the one day before. 参照値は、1 日前に生成されたテーブルのパーティションの数です。 当日に収集されたテーブル行数と比較した後、変動を計算します。
36 The number of rows in the table, fluctuation compared to the one week before. 参照値は、1 週間前に生成されたテーブルのパーティションの数です。 当日に収集されたテーブル行数と比較した後、変動を計算します。
37 The number of rows in the table, fluctuation compared to the one month before. 参照値は、1 か月前に生成されたテーブルのパーティションの数です。 当日に収集されたテーブル行数と比較した後、変動を計算します。
38 The number of rows in the table, the first day of the current month fluctuation compared to the one day, one week, one month before. 当月の初日に収集されたテーブルの行数を、1 日前、1 週間前、1 か月前と比較し、変動を計算します。
39 The number of rows in the table, fluctuation compared to the previous period. 参照値は、前期間に生成されたテーブルのパーティションの数です。 当日に収集されたテーブルの行数と比較し、変動を計算します。
40 Discrete value monitoring (number of packets) パケット数と固定値を比較します。
41 Discrete value monitoring (group number fluctuation) 変動検知のための離散値。1 日前、7 日前、1 か月前のグループ数がベンチマークとなります。
42 Discrete value monitoring (state value) table.id によるテーブルグループからの選択カウント (*) と同様に、グループ化後の各グループの値は、特定の数値と比較されます。
43 Discrete value monitoring (state value and fluctuation of state value) table.id によるテーブルグループからの選択カウント (*) のように、グループ化後の各グループの値を特定の数値と比較します。グループ化の数が増えると、予告することなく警告します。