全部產品
Search
文件中心

DataWorks:資料地圖概述

更新時間:Jun 26, 2024

資料地圖是在中繼資料基礎上提供的企業資料目錄管理模組,涵蓋全域資料檢索、中繼資料詳情查看、資料預覽、資料血緣和資料類目管理等功能。資料地圖可以協助您更好地尋找、理解和使用資料。

中繼資料採集與接入

  • MaxCompute資料

    如果您使用了MaxCompute引擎,您可以直接在資料地圖進行MaxCompute表中繼資料管理的相關操作。

  • 其他類型中繼資料

    除MaxCompute外,您還可以通過中繼資料採集功能將不同資料來源中的中繼資料匯入資料地圖進行統一管理。在資料發現頁面通過中繼資料採集器將其他資料來源中的中繼資料採集至DataWorks資料地圖,採集完成後,您可以在資料地圖搜尋並查看各資料來源的中繼資料資訊。除MaxCompute以外,目前資料地圖支援的其他資料來源類型有:E-MapReduceHologresCDH HiveCDH KuduCDH HbaseAnalyticDB for MySQL 2.0AnalyticDB for MySQL 3.0AnalyticDB for PostgreSQLTablestore(OTS)PostgreSQLMySQLSQL ServerOracleClickHouseStarRocks(持續擴充中),中繼資料採集配置詳情請參見中繼資料採集

    說明

    如果需要在資料開發表管理進行可視化建表操作,請先在資料地圖進行中繼資料採集,可視化建表操作請參見表管理

    中繼資料採集

網路連通

如果您需要將資料來源中的中繼資料匯入資料地圖進行統一的中繼資料管理,需要先確保資料地圖中繼資料採集器能正常訪問您的資料庫。如果您需要進行中繼資料採集的資料庫已開啟白名單存取控制,請在資料庫白名單列表中,添加您使用的DataWorks所在地區對應的IP網段。需要配置的白名單請參見中繼資料採集的資料來源有白名單存取控制時需要配置的白名單

資料總覽

  • 您可以在資料總覽頁面查看當前地區(Region)下的MaxCompute總專案數,總表數、儲存量、總API數、儲存趨勢圖、專案佔有率Top、表佔有率Top和熱門表。

  • 您還可以查看中繼資料採集完成後的AnalyticDB for MySQL 3.0MySQLE-MapReduceHologresAnalyticDB for PostgreSQLOTS等的資料庫總數,總表數、總API數等資訊。

詳情請參見資料總覽

尋找表、代碼和API

在首頁尋找

  • 您還可以通過首頁中的API類目下展示的近期瀏覽的API、熱門瀏覽的API、熱門調用的API等列錶快速擷取相應的API,或者在搜尋方塊中輸入關鍵字搜尋目標API,詳情請參見通用資料查詢與管理

  • 您可以通過首頁中的類目下展示的近期瀏覽的表、近期讀取的表、熱門瀏覽和熱門讀取等列錶快速擷取相應的表。或者在搜尋方塊中輸入關鍵字搜尋目標表,詳情請參見通用資料查詢與管理

  • 您可以通過首頁中的代碼類目下展示的近期搜尋的代碼,或者在搜尋方塊中輸入關鍵字搜尋目標代碼,詳情請參見通用資料查詢與管理

image.png

在搜尋網頁面尋找

  • 您可以在搜尋介面中的API類目下對當前租戶下所有空間中的API,通過輸入API名稱、API描述等關鍵字進行搜尋,同時支援通過API類型工作空間負責人對搜尋結果進行過濾。找到合格API。詳情請參見資料服務API

  • 您可以在搜尋介面中的類目下對各資料來源中中繼資料採集後的表通過表名、表描述、欄位名及欄位描述進行搜尋,不同資料來源支援按照不同篩選條件進行過濾,例如MaxCompute支援根據專案、負責人、環境(生產或開發環境)、類目進行過濾。更多資訊,請參見尋找表

  • 您可以在搜尋介面中的代碼類目下選擇產品模組、篩選條件,然後輸入關鍵字進行搜尋,詳情請參見尋找代碼

全部資料

查看錶詳情和API詳情

  • 您可以單擊目標表名稱跳轉至表詳情頁面,查看錶的基礎資訊產出資訊血緣資訊等資訊。請參見查看錶詳情血緣資訊

    說明

    血緣資訊頁面中您可以查看引擎節點內部血緣關係,具體引擎節點血緣支援情況以產品實際頁面展示為準。此外,MaxCompute還支援基於離線同步的完整鏈路血緣查看。您可以查看MaxCompute表的上下遊血緣,通過展開表血緣層級查看MaxCompute表的未經處理資料來源相關資訊和MaxCompute表資料最終流向的資料庫相關資訊。

    表詳情頁面右上方支援通過表名,表描述,欄位名,欄位描述及專案名等關鍵字進行搜尋。詳情請參見查看錶詳情

  • 您可以單擊目標代碼檔案查看代碼詳情。

  • 您可以單擊目標API名稱跳轉至API詳情頁面,查看API的基礎資訊技術資訊等資訊。詳情請參見查看API詳情

    API詳情頁面右上方支援通過API IDAPI PathAPI名稱API描述等關鍵字搜尋API。

表的有序組織和管理

類目管理功能方便您通過類別有效地組織和管理表,表的類目管理配置完成後,您可以在尋找表時,通過類目來過濾目標表。詳情請參見類目導航管理:組態管理,同時支援您管理表。

說明

阿里雲主帳號及擁有AliyunDataWorksfullaccess許可權的RAM使用者可以編輯類目樹。

  • 類目管理

    您可以通過如下方法將表添加至類目中:

    1. 通過組態管理 > 類目導航配置批量將表添加到指定類目。

      類目導航配置完成後,您可以選中最後一級類目,並通過介面的快速添加入口,快速將表某個專案下的某些表大量新增至該類目中。詳情請參見類目導航管理:組態管理

    2. 通過我的資料頁面批量將表添加到指定類目。

      類目配置完成後,您可以在我的資料(我擁有的資料、我管理的資料)頁面批量將表添加到指定類目。詳情請參見我的資料

  • 表管理

    對於MaxCompute資料類型,資料地圖支援批量修改中文名,生命週期、支援大量刪除開發表或者生產表,批量轉交表責任人。詳情請參見我的資料表管理

  • 個人收藏

    資料地圖支援您將個人關注的表統一添加到個人收藏中進行管理,方便快速定位和查閱。您可以通過我的資料頁面下的我的收藏分組中查看目前個人收藏的表。詳情請參見我的資料

    • 將表添加入我的收藏

      您在查看錶詳情時,可以通過表詳情頁的收藏按鈕,快速將表加入的我的收藏,詳情請參見查看錶詳情,添加收藏後,您可以通過我的資料頁面下的我的收藏分組中進行查看,詳情請參見收藏表

    • 將表從我的收藏列表移除

      您可以通過下面兩種方式移除最愛表,移除最愛後,將不會展示在我的資料頁面下的我的收藏列表中。

      • 您可以通過我的資料頁面下的我的收藏分組中對目前收藏的表移除最愛。

      • 您可以通過已收藏的表詳情頁面中的移除最愛入口,快速移除最愛該表。移除最愛

表許可權管控

  • 表操作許可權申請

    標準模式工作空間下,RAM使用者預設無法通過SQL命令直接操作生產表,如果您需要操作生產表或跨帳號查詢生產表,需要進行許可權申請,您可以在表詳情頁中的申請許可權入口申請表的相關許可權。當您在表詳情頁單擊申請許可權時,將跳轉到資訊安全中心進行具體的許可權申請操作,詳情請參見申請表許可權申請許可權

    說明

    如果RAM使用者無某張表的查詢許可權,預設情況下將無法通過資料地圖表詳情頁中的資料預覽功能來查看該表資料。

  • MaxCompute表資料預覽許可權控制

    您可以在組態管理 > 專案管理配置中對具體工作空間的MaxCompute開發表或生產表開啟預覽許可權,開啟後,該專案下的表無需申請存取權限,即可被工作空間中所有成員預覽。詳情請參見專案管理配置

    說明
    • 此操作可能存在敏感性資料泄露的風險,請謹慎評估後再開啟

    • 所在工作空間的專案owner或者工作空間管理員可進行該操作。

    • 此許可權僅控制資料地圖中表詳情頁面的資料預覽功能。資料預覽

  • 隱藏表

    表隱藏後,搜尋表時將無法搜尋到該表。支援對所有人隱藏或者僅對錶所在工作空間下使用者可見。詳情請參見我的資料

    • 單表隱藏

      您可以選擇表狀態為

      • 隱藏:所有人都不可以通過搜尋來訪問到該表。

      • 僅專案:僅對錶所在工作空間下使用者可見(可搜尋到)。

      • 顯示:所有人都可以通過搜尋訪問到該表。

      說明

      表owner和工作空間管理員預設不受上述許可權控制。

      隱藏

    • 專案層級大量隱藏

      組態管理 > 專案管理配置中,選擇專案空間,設定項目下所有表的隱藏屬性。

      image

其他

  • 工作空間管理

    您可以進入搜尋網頁面,並單擊工作空間類型,查看當前阿里雲主帳號下的所有工作空間詳情列表,單擊目標工作空間名稱可以查看工作空間的詳細資料。詳情請參見工作空間列表工作空間

  • 重新整理表中繼資料

    如果表存在但是搜尋不到或者表更新了但是資料地圖顯示還未更新,您需要重新整理表中繼資料。

    • 在搜尋結果頁面單擊重新整理表中繼資料手工同步

    • 進入資料地圖的我的資料 > 重新整理表中繼資料頁面:

      說明

      手動重新整理表中繼資料僅對MaxCompute和E-MapReduce有效。

      • 如果資料類型MaxCompute,則輸入格式為odps.專案名稱.表名稱表GUID後,單擊重新整理手工同步2

      • 如果資料類型E-MapReduce,則配置叢集ID資料庫表名後,單擊重新整理image

    完成上述操作後您可以在資料地圖的全部資料中再次搜尋關鍵詞查詢對應的表。