Data Mapは、メタデータに基づいて企業のデータディレクトリを管理するために使用されるDataWorksサービスです。 このサービスは、データのグローバル検索、メタデータの詳細の表示、データのプレビュー、データ系列の表示、データカテゴリの管理など、さまざまな機能を提供します。 データマップは、データの検索、理解、使用に役立ちます。
メタデータの収集
MaxComputeテーブルのメタデータ
MaxComputeコンピューティングエンジンをワークスペースに関連付ける場合、データマップを使用してMaxComputeテーブルのメタデータを管理できます。
他のタイプのメタデータ
MaxComputeのメタデータに加えて、メタデータ収集機能を使用して、さまざまなデータソースタイプからデータマップにメタデータを収集し、統合管理を行うことができます。 データマップの [データ検出] ページで、[クローラーの作成] をクリックして、特定のデータソースからデータマップにメタデータを収集できます。 メタデータが収集されたら、データマップでデータソースのメタデータを検索して表示できます。 MaxComputeに加えて、Data Mapを使用して、E-MapReduce、Hologres、CDH Hive、CDH Kudu、CDH HBase、AnalyticDB for MySQL 2.0、AnalyticDB for MySQL 3.0、AnalyticDB for grePostSQL、OTS、PostgreSQL、MySQL、SQL Server、Oracle、ClickHouse、およびStarRocks。 今後、より多くのデータソースタイプがサポートされる予定です。 メタデータコレクション機能の構成の詳細については、「メタデータコレクション」をご参照ください。
説明[DataStudio] ページの [ワークスペーステーブル] ペインでビジュアルモードでテーブルを作成する必要がある場合は、まずデータマップを使用してメタデータを収集する必要があります。 ビジュアルモードでテーブルを作成する方法の詳細については、「テーブルの管理」をご参照ください。
データソースへの接続
統合メタデータ管理のためにデータソースからデータマップにメタデータを収集するには、データマップのメタデータクローラがデータソースにアクセスできることを確認します。 DataWorksワークスペースが存在するリージョンのCIDRブロックをホワイトリストに追加します。 詳細については、「メタデータコレクションのIPアドレスホワイトリストの設定」をご参照ください。
全体的なデータの表示
データマップの [概要] ページでは、現在のリージョンのMaxComputeリソースに関する次の情報を表示できます。プロジェクトの総数、テーブルの総数、ストレージ使用量の総数、APIの総数、ストレージトレンドチャート、最も多くのストレージスペースを占有するトッププロジェクト、最も多くのストレージスペースを占有するトップテーブル、および最も頻繁に参照されるテーブル。
このページでは、AnalyticDB for MySQL V3.0、MySQL、E-MapReduce (EMR) 、Hologres、AnalyticDB for PostgreSQL、メタデータ収集後のOTSなど、他のデータソースに関連する以下の情報も表示できます。
詳細については、「リソース情報の表示」をご参照ください。
テーブル、コード、およびAPIの検索
ホームページで情報を検索
ホームページで、検索ボックスの左側にあるドロップダウンリストからAPIを選択すると、最近表示されたAPI、最も頻繁に表示されたAPI、および最も頻繁に呼び出されたAPIに基づいて、目的のAPIを効率的に見つけることができます。 検索ボックスにキーワードを入力して、目的のAPIを検索することもできます。 詳細については、「共通データの照会と管理」をご参照ください。
ホームページで、検索ボックスの左側にあるドロップダウンリストからテーブルを選択すると、最近閲覧したテーブル、最近閲覧したテーブル、最も頻繁に閲覧したテーブル、および最も頻繁に閲覧したテーブルに基づいて、目的のテーブルを効率的に見つけることができます。 検索ボックスにキーワードを入力して、目的のテーブルを検索することもできます。 詳細については、「共通データの照会と管理」をご参照ください。
ホームページで、検索ボックスの左側にあるドロップダウンリストからコードを選択した後、最近検索したコードに基づいて、または検索ボックスにキーワードを入力して、目的のコードを見つけることができます。 詳細については、「共通データの照会と管理」をご参照ください。
検索ページで情報を検索
[検索] ページで、[タイプ] セクションの [API] をクリックすると、API名やAPIの説明などのキーワードを入力して、現在のテナント内のすべてのワークスペースでAPIを検索できます。 次に、左側のウィンドウでAPIタイプ、ワークスペース、所有者などのフィルター条件を指定して、検索結果をフィルター処理できます。 要件を満たすAPIを見つけます。 詳細については、「DataService StudioのAPI」をご参照ください。
[検索] ページで、[タイプ] セクションの [テーブル] をクリックすると、テーブル名、テーブルの説明、フィールド名、およびフィールドの説明に基づいて、メタデータが収集される各タイプのデータソースのテーブルを検索できます。 異なるタイプのデータソースは、異なるフィルタ条件をサポートする。 たとえば、プロジェクト、所有者、環境 (本番または開発) 、カテゴリなどのフィルタ条件を指定して、MaxComputeテーブルを検索できます。 詳細については、「テーブルの検索」をご参照ください。
[検索] ページで、[タイプ] セクションの [コード] をクリックした後、DataWorksサービスを選択し、フィルター条件を指定し、左側のウィンドウでキーワードを入力して、目的のコードを検索できます。 詳細については、「コードの検索」をご参照ください。
テーブルとAPIの詳細を表示する
表示するテーブルの名前をクリックして、テーブルの詳細ページに移動します。 このページでは、テーブルの基本情報、出力情報、系統情報など、テーブルの詳細を表示できます。 詳細については、「テーブルの詳細の表示」をご参照ください。
説明Lineageタブには、テーブルに関する系統情報が表示されます。 テーブルに対して表示できる特定の系統情報については、テーブルの [系統] タブに移動します。 データマップでは、バッチ同期用のMaxComputeテーブルの全リンク系統を表示することもできます。 MaxComputeテーブルの祖先テーブルと子孫テーブルを表示できます。 テーブルの [Lineage] タブで、[table Lineage] タブをクリックして、テーブルのデータソースと宛先に関する情報を表示できます。
テーブルの詳細ページの右上隅にある検索ボックスにキーワードを入力して、テーブルを検索できます。 キーワードには、テーブル名、テーブルの説明、フィールド名、フィールドの説明、またはプロジェクト名を指定できます。 詳細については、「テーブルの詳細の表示」をご参照ください。
目的のコードファイルをクリックすると、コードの詳細が表示されます。
表示するAPIの名前をクリックして、APIの詳細ページに移動します。 このページでは、APIの基本情報や技術情報など、APIの詳細を表示できます。 詳細については、「APIの詳細の表示」をご参照ください。
APIの詳細ページの右上隅にある検索ボックスにキーワードを入力して、APIを検索できます。 キーワードは、API ID、APIパス、API名、またはAPIの説明です。
テーブルの整理と管理
Data Mapのカテゴリ管理機能は、カテゴリごとにテーブルを効率的に整理および管理するのに役立ちます。 カテゴリにテーブルを追加した後、テーブル検索中に検索結果をフィルタリングするカテゴリを指定できます。 詳細については、「カテゴリ管理: 構成管理」をご参照ください。 テーブルを管理することもできます。
カテゴリツリーを変更するには、Alibaba Cloudアカウントを使用するか、AliyunDataWorksfullaccess権限を持つRAMユーザーとしてDataWorksにアクセスする必要があります。
カテゴリ管理
次の方法を使用して、一度に複数のテーブルをカテゴリに追加できます。
[構成管理] ページの [カテゴリの管理] タブに移動します。
カテゴリツリーを設定したら、最後のレベルのカテゴリをクリックできます。 次に、[カテゴリの管理] タブの右上隅にある [テーブルの追加] をクリックして、プロジェクト内の複数のテーブルを一度にカテゴリに追加します。 詳細については、「カテゴリ管理: 構成管理」をご参照ください。
[マイデータ] ページに移動します。
カテゴリツリーを設定した後、[マイデータ] ページの [自分で所有する、または自分で管理する] タブに移動して、一度に複数のテーブルを特定のカテゴリに追加できます。 詳細については、「マイデータ」をご参照ください。
テーブル管理
Data Mapを使用すると、一度に複数のMaxComputeテーブルの表示名を変更したり、MaxComputeテーブルの有効期間 (TTL) を変更したり、開発環境または本番環境で一度に複数のMaxComputeテーブルを削除したり、一度に複数のMaxComputeテーブルの所有者を変更したりできます。 詳細については、「マイデータ」をご参照ください。
お気に入り
データマップを使用すると、テーブルをお気に入りに追加して簡単に管理できます。 これにより、特定のテーブルを見つけて表示できます。 データマップの上部ナビゲーションバーにある [マイデータ] をクリックします。 次に、左側のナビゲーションウィンドウで [お気に入り] タブをクリックして、お気に入りに追加されたテーブルを表示します。 詳細については、「マイデータ」をご参照ください。
お気に入りにテーブルを追加する
テーブルの詳細を表示している場合は、テーブルの詳細ページの上部にある [お気に入りに追加] をクリックして、テーブルをお気に入りに追加できます。 詳細については、「テーブルの詳細の表示」をご参照ください。 テーブルをお気に入りに追加したら、[マイデータ] ページの [マイお気に入り] タブでテーブルを表示できます。 詳細については、「テーブルをお気に入りに追加」をご参照ください。
お気に入りからテーブルを削除する
次の2つの方法を使用して、お気に入りからテーブルを削除できます。 削除されたテーブルは、[マイデータ] ページの [マイお気に入り] タブに表示されません。
[マイデータ] ページの [お気に入り] タブに移動し、削除するテーブルを見つけて、[操作] 列の [お気に入りから削除] をクリックします。
お気に入りに追加されたテーブルの詳細ページに移動し、ページ上部の [お気に入りから削除] をクリックします。
テーブル権限の管理
テーブルの操作権限を申請する
標準モードのDataWorksワークスペースでは、RAMユーザーはSQL文を直接実行して、本番環境のテーブルに対して操作を実行することはできません。 RAMユーザーの場合、本番環境のテーブルで操作を実行するため、または本番環境の別のAlibaba Cloudアカウントに属するテーブルを照会するために必要な権限を申請する必要があります。 必要な権限を申請するには、権限を申請するテーブルの詳細ページに移動し、上部の [権限の申請] をクリックします。 [許可の申請] をクリックすると、[セキュリティセンター] の [許可申請] タブが表示されます。 このタブでは、必要な権限を申請できます。 詳細については、「テーブルに対するアクセス許可の要求」をご参照ください。
説明既定では、Data Mapでは、テーブルに対するクエリ権限のないRAMユーザーが、テーブルの詳細ページでテーブルデータをプレビューすることはできません。
MaxComputeテーブルのプレビュー権限を管理する
[設定の管理] ページの [ワークスペースの管理] タブに移動して、開発環境または本番環境のワークスペースのMaxComputeテーブルのプレビュー権限を管理できます。 環境でプロジェクトのデータプレビューを有効にすると、ワークスペース内のすべてのメンバーは、アクセス許可を申請する必要なく、指定された環境でプロジェクト内のすべてのテーブルをプレビューできます。 詳細については、「テーブルの表示の管理」をご参照ください。
説明データプレビューを有効にすると、機密情報が漏洩する可能性があります。 慎重に進んでください。
ワークスペースのプロジェクト所有者または管理者は、プレビュー権限を管理できます。
プレビュー権限は、データマップのテーブル詳細ページのデータプレビュー機能にのみ適用されます。
テーブルを隠す
テーブルを非表示にすると、そのテーブルは検索結果に表示されません。 テーブルをすべてのユーザーから非表示にするか、テーブルが属するワークスペースのメンバーにのみ表示するように指定できます。 詳細については、「マイデータ」をご参照ください。
単一のテーブルを隠す
テーブルのHideまたはShowパラメータの有効な値:
非表示: どのユーザーもテーブルを検索できません。
プロジェクト内のみ: テーブルは、テーブルが属するワークスペースのメンバーにのみ表示されます。 この場合、テーブルはワークスペースのメンバーのみが検索できます。
表示: すべてのユーザーがテーブルを検索できます。
説明既定では、上記のルールはテーブル所有者またはワークスペース管理者には適用されません。
ワークスペース内の複数のテーブルを同時に非表示にする
[設定の管理] ページの [ワークスペースの管理] タブに移動し、[ワークスペースの所有 /管理者] ペインでワークスペースを選択し、[プロジェクトメンバーのみのプロジェクトテーブルの表示を許可] 列で、選択したワークスペースのテーブルを非表示にするかどうかを指定します。
その他の機能
ワークスペース管理
[データマップ] の [検索] ページに移動し、[タイプ] セクションの [ワークスペース] を選択します。 現在のAlibaba Cloudアカウント内のすべてのワークスペースを表示し、目的のワークスペースの名前をクリックして詳細を表示できます。 詳細については、「ワークスペースの表示」をご参照ください。
テーブルメタデータの更新
テーブルが存在するがデータマップに見つからない場合、またはテーブルが更新されても更新されたテーブルがデータマップに表示されない場合は、テーブルのメタデータを更新する必要があります。
検索結果ページの右上隅にある [テーブルメタデータの更新] をクリックします。
データマップのマイデータページの [テーブルメタデータの更新] ページに移動します。
説明テーブルメタデータの手動更新は、MaxComputeとEMRに対してのみ有効です。
データ型がMaxComputeの場合、Guidフィールドの
odps.Project name. table name
形式でテーブルの名前を指定し、[更新] をクリックします。データ型がE-MapReduceの場合、クラスターID、データベース、およびテーブル名パラメーターを設定し、[更新] をクリックする必要があります。
次に、データマップの [すべてのデータ] ページに移動し、[すべてのデータ] ページの検索ボックスにキーワードを入力して、対応するテーブルを再度検索できます。