すべてのプロダクト
Search
ドキュメントセンター

Data Management:データ品質の確認

最終更新日:Aug 15, 2024

データ管理 (DMS) では、テーブルまたは列の品質ルールを作成できます。 DMSは、タスクフローの監査タスクと組み合わせて、作成された品質ルールに基づいてデータ品質を自動的にチェックします。 これにより、テーブルのデータの一貫性、一意性、可用性が保証され、二次分析と開発の品質が向上します。

前提条件

  • 管理するデータベースインスタンスは、Security Collaborationモードで管理されます。 詳細については、「コントロールモード」をご参照ください。

  • 次のいずれかの条件が満たされています。

    • DMS管理者、DMSのデータベース管理者 (DBA) 、またはスキーマの読み取り専用ロールを引き受けるユーザーです。 詳細については、「システムロール」をご参照ください。

    • 管理するデータベースインスタンスの所有者またはDBAです。 詳細については、「データベースインスタンスの変更」をご参照ください。

    • 管理するデータベースインスタンスまたはデータベースインスタンス内のテーブルのデータを照会、変更、またはエクスポートする権限があります。 詳細については、「所有権限の表示」をご参照ください。

背景情報

データ量の増加には、二次分析と開発が必要です。 データは相互に依存しており、通常はさまざまなソースから大量に、さまざまな構造を持つため、これは課題をもたらします。 この場合、データの有効性と品質はビジネスにとって重要です。 たとえば、データのセカンダリ分析を実行する前に、データ品質が要件を満たしているかどうかを確認できます。 これにより、データ分析を期待どおりに完了することができます。

用語

  • 品質ルール: データが要件を満たしていることを確認するために、テーブルまたはテーブル内の列を監視するために作成するルール。 たとえば、テーブルの行数を固定値とし、テーブルの最大列値を100とすることができます。

  • 監査タスク: データを監視し、データが特定の品質ルールを満たしているかどうかを確認するために作成するタスク。 テーブルの品質ルールとタスクフローのスケジューリングサイクルを指定すると、DMSはテーブルのデータ品質を自動的にチェックし、レポートを生成します。

手順

  1. DMSコンソールV5.0 にログインします。

  2. テーブルの詳細ページに移動します。 次のいずれかの方法を使用して、テーブルの詳細ページに移動できます。

    • [SQLコンソール] タブから [データ可視化] タブに移動します。

      1. DMSコンソールの上部のナビゲーションバーで、[SQLコンソール] > [SQLコンソール] を選択します。

      2. [データベースを最初に選択してください] ダイアログボックスで、管理するデータベースインスタンスを検索するキーワードを入力し、検索結果からデータベースインスタンスを選択して、[確認] をクリックします。

      3. [SQLコンソール] タブの右上隅にある [拡張機能] セクションの表详情アイコンをクリックします。

      4. 表示するテーブルを見つけ、[操作] 列の [詳細] にポインターを移動し、[テーブルの詳細の表示] を選択します。 [Details] パネルが表示されます。

    • 表示するテーブルを検索する

      1. 上部のナビゲーションバーで、[ホーム] をクリックします。 検索ボックスに、表示するテーブルの名前を入力します。

      2. 検索結果で、[テーブル] オプションをクリックします。 表示するテーブルを見つけ、右側の [詳細] をクリックして [テーブル] ページに移動します。

  3. データ品質タブをクリックします。

  4. ルールの作成 をクリックします。 表示されるパネルで、次の表に示すパラメーターを設定します。

    パラメーター

    説明

    ルール名

    品質ルールの名前。

    列の最大値は100

    ルールタイプ

    品質ルールのタイプ。 有効な値:

    • テーブルルール: 品質ルールはテーブルに対して作成されます。 たとえば、テーブルに基づいて品質ルールを作成し、テーブルの行数が要件を満たしているかどうかを確認できます。

    • 列ルール: 品質ルールは、テーブル内の列に対して作成されます。 たとえば、テーブル内の列に基づいて品質ルールを作成し、列内のnull値の数を確認できます。

    列ルール

    ルールテンプレート

    DMSによって事前設定されているルールテンプレート。 詳細については、このトピックの「品質ルールテンプレート」セクションをご参照ください。

    列の最大値

    列名

    品質ルールを作成する列の名前。

    このパラメーターは、ルールタイプパラメーターを列ルールに設定した場合にのみ表示されます。

    columns_test

    比較方法

    比較方法。 このメソッドは、テーブル内の実際のデータを、指定した 期待 パラメーターの値と比較するために使用します。

    有効な値: 大きい以上である等しい以下である少ない等しくない

    以下または等しい

    期待

    あなたが期待する価値。

    100

  5. OK をクリックします。

    デフォルトでは、品質ルールが作成された後、品質ルールは有効状態になります。

    説明

    作成した品質ルールに対して次の操作を実行できます。

    • 品質ルールを無効にするには、[操作] 列の 無効化 をクリックします。 品質ルールを無効にすると、品質ルールの監査タスクを作成できません。

      品質ルールが監査タスクによって使用されている場合、品質ルールを無効にすることはできません。 この場合は、監査タスクを削除してから再試行してください。

    • 品質ルールを変更するには、操作列の 詳細 にポインターを移動し、[編集] を選択します。

    • 以前のバージョンの品質ルールを表示するには、[操作] 列の 詳細 にポインターを移動し、[ログ] を選択します。

  6. ポインタをアクション詳細新しいタスクフロー を選択します。

    新建任务流

  7. [タスクオーケストレーション] ページで、監査タスクノードを作成し、タスクフローを公開します。

    説明

    詳細については、「概要」をご参照ください。

    スケジューリングサイクルを指定してタスクフローを公開すると、DMSはスケジューリングサイクルと品質ルールに基づいてデータを自動的にチェックします。

品質ルールテンプレート

ルールタイプ

ルールテンプレート

テーブルルール

テーブル内の行の数。 数は固定値です: このテンプレートは、テーブルの行数がビジネス要件を満たしているかどうかを確認します。 たとえば、テーブルの行数を100,000未満にするように指定できます。

列ルール

  • 列の最大値: このテンプレートは、列の最大値がビジネス要件を満たしているかどうかを確認します。 たとえば、テーブル内の主キーの最大値が2147483647を超えないように指定できます。

  • 列の最小値: このテンプレートは、列の最小値がビジネス要件を満たしているかどうかを確認します。 たとえば、テーブル内の列の最小値が3未満にならないように指定できます。

  • ワイルドカードを含む式に一致する文字列の数。 このテンプレートは、指定されたフォーマット要件を満たす列値の数がビジネス要件を満たしているかどうかを確認します。 たとえば、列のaで始まる値の数が10未満であるように指定できます。

  • 正規表現に一致する文字列の数。 このテンプレートは、指定された正規表現に一致する列の値の数がビジネス要件を満たしているかどうかを確認します。 たとえば、列内の正規表現に一致する値の数を100より大きくするように指定できます。

  • 列内のヌル値の数。 このテンプレートは、列内のnull値の数がビジネス要件を満たしているかどうかを確認します。 たとえば、列内のnull値の数が0以下であることを指定できます。

  • 列内の一意の値の数。 このテンプレートは、列内の一意の値の数がビジネス要件を満たしているかどうかを確認します。 たとえば、列内の一意の値の数が100以上であることを指定できます。 これにより、少なくとも100の異なる値が列に存在することが保証されます。

  • 列内の重複値の数。 このテンプレートは、列内の重複する値の数がビジネス要件を満たしているかどうかを確認します。 たとえば、列内の重複する値の数を100未満にするように指定できます。 これにより、列内の重複値の数が100を超えないようになります。