DataWorks:メタデータ収集

MaxCompute デフォルトクローラー

このクローラーは、アカウント内の MaxCompute プロジェクトからメタデータを収集します。詳細ページで Modify Data Scope を使用してプロジェクトを選択し、Permission Configurations を使用してテナント内でのメタデータの可視性を設定します。

1. メタデータ収集ページの Built-in セクションで、MaxCompute デフォルトクローラー カードを見つけ、Details をクリックします。

2. MaxCompute デフォルトクローラーの詳細ページには、Basic Information タブと Data Scope タブが含まれています。

   • Basic Information：クローラーの基本属性 (収集タイプやモードなど) を表示します。この情報は読み取り専用です。

   • Data Scope：収集する MaxCompute プロジェクトを管理します。

3. 収集範囲の変更：

   1. Data Scope をクリックし、Modify Data Scope をクリックします。

   2. ダイアログボックスで、収集する MaxCompute プロジェクトを選択または選択解除します。

      重要

      デフォルトの範囲には、現在のテナント配下で、現在のリージョンのワークスペースにバインドされているすべての MaxCompute プロジェクトが含まれます。範囲が変更されると、データマップではその範囲内のメタデータオブジェクトのみが可視になります。選択されていないメタデータは不可視になります。

   3. OK をクリックして変更を保存します。

4. メタデータの可視性の設定：

   • Data Scope リストで対象のプロジェクトを見つけ、Permission Configurations 列の Actions をクリックします。

   • データガバナンスの要件に基づいて可視性ポリシーを選択します：

     • Public Within Tenant：テナント内のすべてのメンバーがこのプロジェクトのメタデータを検索および表示できます。

     • Only members in the associated workspace can search and view.：特定のワークスペースのメンバーのみがこのプロジェクトのメタデータにアクセスでき、データの分離を保証します。

DLF デフォルトクローラー

DLF デフォルトクローラーは、アカウント内の Data Lake Formation (DLF) からメタデータを収集します。

1. メタデータ収集ページの Built-in セクションで、DLF デフォルトクローラー カードを見つけ、Details をクリックして基本情報を表示します。

2. Data Scope タブをクリックして、収集範囲に含まれる DLF カタログのリストと、そのテーブル数を表示します。

   デフォルトでは、アクセス可能なすべてのカタログ (DLF および DLF-Legacy バージョンを含む) が収集されます。

カスタムクローラーの作成

1. メタデータ収集ページのカスタムクローラーリストセクションで、メタデータ収集の作成 をクリックします。

2. 収集タイプの選択：タイプ選択ページで、収集対象のデータソースタイプ (Hologres や StarRocks など) を選択します。

3. 基本情報とリソースグループの設定：

   • Basic Configurations：

     • ワークスペースの選択：データソースを含むワークスペースを選択します。

     • Select Data Source：ドロップダウンリストから作成済みの対象データソースを選択します。選択後、システムは自動的にデータソースの詳細を表示します。

     • Name：後で識別できるように、クローラーの名前を入力します。デフォルト名はデータソース名と同じです。

   • Resource Group Configuration：

     • Resource Group：収集タスクを実行するリソースグループを選択します。

     • Test Network Connectivity：このステップは重要です。Test Network Connectivity をクリックして、リソースグループがデータソースに正常にアクセスできることを確認します。

       重要

       • データソースにホワイトリスト制限があるか確認してください。ホワイトリストによるアクセス制御が有効なメタデータを収集する必要がある場合は、「ネットワーク接続ソリューションの概要」および「ホワイトリストの設定」を参照して、ホワイトリストの権限を設定してください。

       • データソースにホワイトリスト制限がない場合は、「ネットワーク接続とリソースグループの操作」を参照してネットワーク接続を設定してください。

       • 接続テストがエラー backend service call failed: test connectivity failed.not support data type で失敗した場合は、テクニカルサポートに連絡してリソースグループをアップグレードしてください。

4. メタデータ収集の設定：

   • Collection Scope：収集するデータベース (Database/Schema) を定義します。データソースがデータベース単位の場合、対応するデータベースがデフォルトで選択されます。データソース外の追加のデータベースを選択することもできます。

     重要

     • 1 つのデータベースは 1 つのクローラーでのみ設定できます。データベースが選択できない場合、それはすでに別のクローラーによって収集されています。

     • 収集範囲を狭めると、範囲外のメタデータはデータマップで検索できなくなります。

5. インテリジェント拡張設定と収集計画の設定：

   • インテリジェント拡張設定 (ベータ版)：

     • AI 収集説明：有効にすると、メタデータ収集後にシステムが LLM を使用してテーブルとフィールドのビジネス説明を自動的に生成し、メタデータの可読性と使いやすさを大幅に向上させます。収集完了後、データマップのテーブルオブジェクト詳細ページで AI が生成した情報 (テーブルの備考やフィールドの説明など) を表示できます。

   • Collection Plan：

     • Trigger Mode：手動または定期を選択します。

       • 手動：クローラーは手動でトリガーされた場合にのみ実行されます。これは、1 回限りまたはオンデマンドの収集に適用されます。

       • 定期：定期タスク (月次、日次、週次、時次など) を設定します。システムは定期的にメタデータを自動更新します。

         分単位の定期タスクを設定するには、時次収集を選択し、すべての分オプションをチェックして 5 分間隔のタスクを実現します。

         重要

         定期収集は本番環境のデータソースでのみサポートされています。

6. 設定の保存：Save または Save and Run をクリックして、クローラーの作成を完了します。

カスタムクローラーの管理

クローラーが作成されると、カスタムリストに表示されます。以下の管理操作を実行できます：

• リスト操作：リスト内で、クローラーを直接 Run、Stop、または Delete できます。上部の Filter および Search 機能を使用して、対象のクローラーをすばやく見つけます。

  重要

  メタデータクローラーを削除すると、収集されたメタデータオブジェクトがデータマップから削除されます。ユーザーはこれらのオブジェクトを検索または表示できなくなります。注意：この操作は元に戻せません。

• 詳細とログの表示：クローラー名をクリックして詳細を表示します。

  • Basic Information：クローラーのすべての設定項目を表示します。

  • Data Scope：Modify Data Scope を表示または実行します。

    収集前に表示した場合、テーブル数と最終更新時間は空になります。

    次のデータソースは範囲変更をサポートしていません：EMR Hive、CDH Hive、Lindorm、ElasticSearch、Tablestore (OTS)、MongoDB、および AnalyticDB for MySQL 内の AnalyticDB for Spark。

  • Run Logs：各収集タスクの実行履歴を追跡します。開始時刻、期間、ステータス、収集されたデータ量を確認できます。タスクが失敗した場合、View Logs をクリックすることが、問題の特定と解決の重要なエントリーポイントとなります。

• 手動での収集実行：右上隅の Collect Metadata をクリックして、収集タスクを即座にトリガーします。これを使用して、新しく作成されたテーブルをデータマップですぐに表示できます。

データテーブル

タスクコード

データマップはコード検索と迅速な特定をサポートしています。以下の表はサポート範囲を説明しています。

API 資産

データマップは DataService Studio の API メタデータの表示をサポートしています：

AI 資産

データマップは AI 資産の表示と管理をサポートし、AI 資産リネージを提供してデータとモデルの起源、使用、進化を追跡します。以下の表は AI 資産のサポート状況を説明しています。

Workspace

データマップはワークスペースのメタデータの表示をサポートしています：