DataWorks：中繼資料採集

中繼資料採集概述

支援的資料來源及中繼資料採集方式

使用限制

• 僅支援對當前登入帳號所屬的工作空間中已配置的資料來源，進行中繼資料採集操作。如果您需要採集其他工作空間中資料來源的中繼資料資訊，您可以聯絡空間管理員增加空間成員，詳情請參見為工作空間增加空間成員。

• 當您需要採集已開啟白名單存取控制的資料來源的中繼資料時，則需要提前配置好資料庫的白名單許可權。詳情請參見中繼資料採集的資料來源有白名單存取控制時需要配置的白名單。

• DataWorks目前不建議跨地區採集中繼資料，即DataWorks所在的地區需要與資料來源所在的地區相同。如需跨地區採集中繼資料，請在建立資料來源時使用公網地址。詳情請參見建立並管理資料來源。

• 暫不支援使用MySQL中繼資料採集器來採集OceanBase資料來源。

功能入口

1. 進入資料地圖。

2. 在左側功能表列，單擊中繼資料採集。

   您可以在資料發現頁面，切換資料來源視角和工作空間視角，按照不同的視角來查看或管理中繼資料採集的情況。

   • 資料來源視角為您展示當前帳號所屬工作空間中已配置的資料來源，您可基於資料來源維度管理資料擷取器。

   • 工作空間視角下，您可基於當前帳號所屬工作空間維度，對工作空間下已配置的各資料來源的中繼資料採集器進行管理。對於工作空間下無資料來源的情況，支援您單擊建立資料來源，進入資料來源配置頁面，建立資料來源。

查看中繼資料採集器

• 整體統計

  在中繼資料採集頁面，您可以切換資料來源視角和工作空間視角，查看中繼資料採集總覽，主要為您展示已建立採集器的資料庫數量。

• 明細列表

  您還可以單擊目標資料來源類型或目標工作空間右上方的管理按鈕，進入採集明細頁面，查看相應採集器的運行狀態、執行計畫、上次已耗用時間、上次消耗時間、平均運行耗時及上次運行時更新及添加的表數量。

管理中繼資料採集器

單擊目標資料來源或工作空間右上方的管理按鈕，預設進入已採集列表，您可以對已有採集器進行如下操作。

運行中繼資料採集器

支援您手動運行中繼資料採集器，您可以根據業務需要在已採集列表頁面找到目標資料來源單擊操作列的運行，即可執行一次中繼資料採集。

修改中繼資料採集器的執行計畫

移除中繼資料採集器

支援您在已採集列表頁面找到目標資料來源單擊操作列的移除，移除當前資料來源的中繼資料採集器。移除後該資料來源將會進入未採集列表，不再進行中繼資料採集。

建立中繼資料採集器

建立資料來源或註冊叢集後，您可以進入資料地圖中開啟中繼資料採集，在已採集列表中查看目標資料來源的中繼資料採集情況。

移除中繼資料採集器後，如果後續您需要重新啟動採集，支援您在未採集列表中重新建立中繼資料採集器，以下是詳細的操作步驟。

1. 單擊列表頂部的未採集列表。

2. 找到目標資料來源，單擊操作列的中繼資料採集，在彈出來的配置採集計劃框中配置各項參數。

   說明

   不同資料來源配置採集計劃介面可能存在差異，請以產品介面為準。

   

   參數	描述
   資源群組名稱	選擇已與資料來源網路連通的資源群組。資料地圖支援您選擇如下3種資源群組，您可根據需求選取： 預設資源群組default。 您自己的獨享調度資源群組。 您自己的獨享Data Integration資源群組。
   連通性測試	選擇完資源群組名稱後，如果您想再次測試資源群組與資料來源的連通性，您可以單擊測試連通性進行驗證。如果顯示測試連通性未通過： 請確認資料來源是否開啟了白名單限制，如果需要採集已開啟白名單存取控制的中繼資料，請參考中繼資料採集的資料來源有白名單存取控制時需要配置的白名單配置白名單許可權。 如果資料來源未開啟白名單限制，請參考資源群組操作及網路連通文檔進行資料來源網路打通。
   採集計劃	包括手動採集、每月、每周、每天及每小時。根據不同的執行循環，產生不同的執行計畫，在相應執行計畫的時間內，對目標資料來源進行中繼資料採集。 手動採集：根據實際業務需求，在業務需要時手動觸發中繼資料的採集和更新。 月採集：即在每月所指定日期的指定時間點自動採集一次中繼資料。 重要 部分月份不包含29、30、31日，請您謹慎選擇月末日期。 周採集：即在每周所指定日期的指定時間點自動採集一次中繼資料。 不輸入時間時，則預設在每周指定幾天的00:00:00採集。 天採集：即在每天特定的時間點自動採集一次中繼資料。 小時採集：即在每小時的第N分鐘自動採集一次中繼資料。

3. 確認配置資訊無誤後，單擊確認。

   系統會根據配置的採集計劃，進行中繼資料採集，如果是手動採集，您可以根據實際業務需求，在業務需要時進入已採集列表，找到目標資料來源，單擊操作列的運行，即可手動執行採集任務。