資料地圖是在中繼資料基礎上提供的企業資料目錄管理模組,涵蓋全域資料檢索、中繼資料詳情查看、資料預覽、資料血緣和資料類目管理等功能。資料地圖可以協助您更好地尋找、理解和使用資料。
中繼資料採集與接入
MaxCompute資料
如果您使用了MaxCompute引擎,您可以直接在資料地圖進行MaxCompute表中繼資料管理的相關操作。
其他類型中繼資料
除MaxCompute外,您還可以通過中繼資料採集功能將不同資料來源中的中繼資料匯入資料地圖進行統一管理。在資料發現頁面通過中繼資料採集器將其他資料來源中的中繼資料採集至DataWorks資料地圖,採集完成後,您可以在資料地圖搜尋並查看各資料來源的中繼資料資訊。除MaxCompute以外,目前資料地圖支援的其他資料來源類型有:E-MapReduce、Hologres、CDH Hive、CDH Kudu、CDH HBase、AnalyticDB for MySQL 2.0、AnalyticDB for MySQL 3.0、AnalyticDB for PostgreSQL、Tablestore(OTS)、PostgreSQL、MySQL、SQL Server、Oracle、ClickHouse、StarRocks(持續擴充中),中繼資料採集配置詳情請參見中繼資料採集。
說明如果需要在資料開發中表管理進行可視化建表操作,請先在資料地圖進行中繼資料採集,可視化建表操作請參見表管理。
網路連通
如果您需要將資料來源中的中繼資料匯入資料地圖進行統一的中繼資料管理,需要先確保資料地圖中繼資料採集器能正常訪問您的資料庫。如果您需要進行中繼資料採集的資料庫已開啟白名單存取控制,請在資料庫白名單列表中,添加您使用的DataWorks所在地區對應的IP網段。需要配置的白名單請參見中繼資料採集的資料來源有白名單存取控制時需要配置的白名單。
資料總覽
您可以在資料總覽頁面查看當前地區(Region)下的MaxCompute總專案數,總表數、儲存量、總API數、儲存趨勢圖、專案佔有率Top、表佔有率Top和熱門表。
您還可以查看中繼資料採集完成後的AnalyticDB for MySQL 3.0、MySQL、E-MapReduce、Hologres、AnalyticDB for PostgreSQL、OTS等的資料庫總數,總表數、總API數等資訊。
詳情請參見資料總覽。
尋找表、代碼和API
查看錶詳情和API詳情
您可以單擊目標表名稱跳轉至表詳情頁面,查看錶的基礎資訊、產出資訊和血緣資訊等資訊。請參見查看錶詳情。
說明血緣資訊頁面中您可以查看引擎節點內部血緣關係,具體引擎節點血緣支援情況以產品實際頁面展示為準。此外,MaxCompute還支援基於離線同步的完整鏈路血緣查看。您可以查看MaxCompute表的上下遊血緣,通過展開表血緣層級查看MaxCompute表的未經處理資料來源相關資訊和MaxCompute表資料最終流向的資料庫相關資訊。
表詳情頁面右上方支援通過表名,表描述,欄位名,欄位描述及專案名等關鍵字進行搜尋。詳情請參見查看錶詳情。
您可以單擊目標代碼檔案查看代碼詳情。
您可以單擊目標API名稱跳轉至API詳情頁面,查看API的基礎資訊、技術資訊等資訊。詳情請參見查看API詳情。
API詳情頁面右上方支援通過API ID、API Path、API名稱、API描述等關鍵字搜尋API。
表的有序組織和管理
類目管理功能方便您通過類別有效地組織和管理表,表的類目管理配置完成後,您可以在尋找表時,通過類目來過濾目標表。詳情請參見組態管理,同時支援您管理表。
阿里雲主帳號及擁有AliyunDataWorksfullaccess許可權的RAM使用者可以編輯類目樹。
類目管理
表管理
對於MaxCompute資料類型,資料地圖支援批量修改中文名,生命週期、支援大量刪除開發表或者生產表,批量轉交表責任人。詳情請參見我的資料。
個人收藏
表許可權管控
表操作許可權申請
標準模式工作空間下,RAM使用者預設無法通過SQL命令直接操作生產表,如果您需要操作生產表或跨帳號查詢生產表,需要進行許可權申請,您可以在表詳情頁中的申請許可權入口申請表的相關許可權。當您在表詳情頁單擊申請許可權時,將跳轉到資訊安全中心進行具體的許可權申請操作,詳情請參見申請表許可權。
說明如果RAM使用者無某張表的查詢許可權,預設情況下將無法通過資料地圖表詳情頁中的資料預覽功能來查看該表資料。
MaxCompute表資料預覽許可權控制
您可以在組態管理 > 專案管理配置中對具體工作空間的MaxCompute開發表或生產表開啟預覽許可權,開啟後,該專案下的表無需申請存取權限,即可被工作空間中所有成員預覽。詳情請參見專案管理配置。
說明此操作可能存在敏感性資料泄露的風險,請謹慎評估後再開啟。
所在工作空間的專案owner或者工作空間管理員可進行該操作。
此許可權僅控制資料地圖中表詳情頁面的資料預覽功能。
隱藏表
表隱藏後,搜尋表時將無法搜尋到該表。支援對所有人隱藏或者僅對錶所在工作空間下使用者可見。詳情請參見我的資料。
單表隱藏
您可以選擇表狀態為
隱藏:所有人都不可以通過搜尋來訪問到該表。
僅專案:僅對錶所在工作空間下使用者可見(可搜尋到)。
顯示:所有人都可以通過搜尋訪問到該表。
說明表owner和工作空間管理員預設不受上述許可權控制。
專案層級大量隱藏
在組態管理 > 專案管理配置中,選擇專案空間,設定項目下所有表的隱藏屬性。
其他
工作空間管理
您可以進入搜尋網頁面,並單擊工作空間類型,查看當前阿里雲主帳號下的所有工作空間詳情列表,單擊目標工作空間名稱可以查看工作空間的詳細資料。詳情請參見工作空間列表。
重新整理表中繼資料
如果表存在但是搜尋不到或者表更新了但是資料地圖顯示還未更新,您需要重新整理表中繼資料。
在搜尋結果頁面單擊重新整理表中繼資料。
進入資料地圖的
頁面:說明手動重新整理表中繼資料僅對MaxCompute和E-MapReduce有效。
如果資料類型為MaxCompute,則輸入格式為
odps.專案名稱.表名稱
的表GUID後,單擊重新整理。如果資料類型為E-MapReduce,則配置叢集ID、資料庫和表名後,單擊重新整理。
完成上述操作後您可以在資料地圖的全部資料中再次搜尋關鍵詞查詢對應的表。