Data Studio資料目錄全面支援OpenLake湖倉一體架構,實現統一中繼資料管理,建表方式多樣化,輔助智能建表,提升資料研發效率,滿足不同類型使用者多樣化中繼資料建立及管理的需求。
前提條件
已建立工作空間,並選擇參加資料開發(Data Studio)(新版)公測。
資料目錄管理
添加資料目錄
預設添加
DataWorks在建立工作空間,並綁定計算資源(MaxCompute、Hologres、StarRocks)時,會同步建立對應資料來源並綁定其資料目錄。工作空間繫結資料目錄會同步展示在資料目錄中,無需您手動綁定。具體詳情請參見建立工作空間並綁定計算資源。
主動添加
Data Studio的資料目錄支援您按需綁定個人有許可權的資料目錄。
進入DataWorks工作空間列表頁,在頂部切換至目標地區,找到已建立的工作空間,單擊操作列的 ,進入Data Studio。
在左側導覽列單擊,進入資料目錄。
按需綁定資料目錄。
MaxCompute
如果您的專案空間未綁定計算資源,則首次開啟MaxCompute資料目錄時,該目錄下為空白,請單擊或添加專案添加MaxCompute資料目錄。
您可以尋找並添加您需要添加的MaxCompute Project作為您的資料目錄。
MaxCompute - 專案
該頁簽下包含與DataWorks相同地區下,您具備系統管理權限的MaxCompute專案,您可以單擊操作列添加,即可將該專案添加到資料目錄。
該頁簽下還包含MaxCompute內建專案SYSTEM_CATALOG和BIGDATA_PUBLIC_DATASET。
SYSTEM_CATALOG:該專案內建
INFORMATION_SCHEMA
,訪問該內建Schema提供的唯讀視圖,可以查詢目前使用者所有MaxCompute專案的中繼資料資訊以及使用歷史資訊,詳情請參見租戶層級Information Schema。BIGDATA_PUBLIC_DATASET:該專案儲存著MaxCompute開放的公開資料集資料。MaxCompute的公開資料集的詳細資料,請參見公開資料集概述。
DataWorks 資料來源
該頁簽下包含DataWorks資料來源綁定的MaxCompute Project,您可以單擊操作列的添加為資料目錄,將該資料來源的資料目錄綁定至工作空間。
Hologres
如果您在建立工作空間後,已通過工作空間詳情頁或管理中心綁定了資料目錄,則此時在資料開發資料目錄中即可查看並管理資料目錄。更多詳情,請參見建立工作空間並綁定計算資源。
如果您的專案空間未綁定計算資源,則首次開啟Hologres資料目錄時,該目錄下為空白,請單擊或添加執行個體添加Hologres資料目錄。
您可以按需添加Hologres - 執行個體或已在DataWorks建立的Hologres資料來源。
Hologres - 執行個體
該頁簽下包含與DataWorks專案空間相同地區下,您具備系統管理權限的Hologres執行個體,您可以單擊操作列添加,將該執行個體的資料目錄綁定至專案空間。
DataWorks 資料來源
該頁簽下包含DataWorks資料來源綁定的MaxCompute專案,您可以單擊操作列的添加為資料目錄,將該資料來源的資料目錄綁定至工作空間。
DLF Catalog
如果您在建立工作空間後,已通過工作空間詳情頁或管理中心綁定了資料目錄,則此時在資料開發資料目錄中即可查看並管理資料目錄。更多詳情,請參見建立工作空間並綁定計算資源。
如果您的專案空間未綁定計算資源,則首次開啟DLF Catalog資料目錄時,該目錄下為空白,請單擊或添加Catalog添加DLF Catalog資料目錄。
DLF Catalog列表頁包含與DataWorks專案空間相同地區下,您具備系統管理權限的DLF Catalog,您可以單擊操作列添加,將其綁定至專案空間。
StarRocks
如果您在建立工作空間後,已通過工作空間詳情頁或管理中心綁定了資料目錄,則此時在資料開發資料目錄中即可查看並管理資料目錄。更多詳情,請參見建立工作空間並綁定計算資源。
如果您的專案空間未綁定計算資源,則首次開啟StarRocks資料目錄時,該目錄下為空白,請單擊或添加執行個體添加StarRocks資料目錄。
您可以添加已在DataWorks建立的StarRocks資料來源。
DataWorks 資料來源頁簽下包含已建立的資料來源(通過綁定計算資源自動建立、管理中心資料來源列表手動建立),您可以單擊操作列的添加為資料目錄,將該資料來源的資料目錄綁定至工作空間。
AI Catalog
該資料目錄下包含資料集和模型
資料集:包括公開資料集和自訂資料集。
模型:包括AI專案空間中的模型資料。
說明您可以前往人工智慧平台PAI控制台,在左側導覽列單擊工作空間列表,進入DataWorks專案空間同名的PAI專案空間,然後在 中查看或建立自訂資料集,在 中查看或註冊新模型。
移出資料目錄
預設添加的資料目錄,不支援在資料開發(Data Studio)的資料目錄中進行解除綁定,需前往
頁面或工作空間詳情頁的計算資源頁簽解除綁定。主動添加的資料目錄,可在資料開發(Data Studio)的資料目錄中,單擊操作列的解除綁定資料目錄。
建立資料對象
Data Studio資料目錄,支援通過多種方式建表,如可視化建表、DDL建表及Copilot智能建表。此外,資料目錄還支援建立外表、視圖、資源及函數等資料對象。具體操作說明如下:
本文以MaxCompute表為例,其他類型的資料目錄以及視圖、資源、函數操作方法請根據介面提示操作。
資源與函數需要在左側一級目錄中單擊資源管理(),建立資源或函數。
建立表
開啟已添加的MaxCompute專案,您可以通過多種方式進入建立表頁面。
在資料目錄中單擊表,進入表清單頁,該頁面展示當前Schema下所有內表,然後單擊建立表。
在資料目錄中右鍵表選擇
。在資料目錄中單擊表右側的。
在建立表頁面您可以通過如下多種方式按需建立表。
①:可視化建表:進入表建立頁面,頁面左側支援您手動錄入表名、生命週期、表欄位、表分區、表類型等資訊,頁面右側DDL地區將會自動解析產生DDL語句。
②:DDL建表:進入表建立頁面,頁面右側DDL地區支援您直接編寫建表DDL代碼,頁面左側可視化地區內容也會自動對應。
③:Copilot建表:對於已經參加Copilot公測的客戶,在表建立頁面頂部操作地區,可以單擊Copilot建表,輸入建表需求,如“建立商品維度資料表”,由大模型產生模型表名、表描述、欄位名、欄位描述等內容,點擊接受即可。此外,您還可以使用欄位資訊欄位列表上面的產生欄位,產生欄位描述來進列欄位產生。
配置完成後,單擊建立表頁面頂部的發布,在MaxCompute專案中建立該表。
查看並修改表
在資料目錄中單擊表,然後在表列表頁面選擇需要查看的表。
您也可以直接在資料目錄中單擊具體表名。
查看錶的明細資訊(表欄位、分區欄位)、基本資料(所屬專案、負責人、生命週期等)以及DDL語句。
您可以單擊右上方編輯按鈕,修改表的相關配置(表名、生命週期、欄位資訊等)。
刪除表
在資料目錄中右鍵待刪除的表,然後單擊刪除,即可刪除此表。
附錄:從管理中心、工作空間詳情頁綁定資料目錄
管理中心、工作空間詳情頁綁定資料目錄基於資料來源,您需要建立相應資料來源後,才可以綁定其資料目錄。
建立資料來源。
進入DataWorks管理中心頁,頂部切換至目標地區,然後選擇已建立的工作空間,單擊進入管理中心。
在左側導覽列單擊
。單擊建立資料來源。目前支援資料目錄的資料來源有
Data Lake Formation 2.0(DLF 2.0)
、MaxCompute
、Hologres
、StarRocks
,根據頁面參數提示,完成資料來源建立。
您可以在管理中心或工作空間詳情頁綁定資料目錄。
管理中心
在左側導覽列單擊資料目錄,然後單擊綁定資料目錄。
目錄類型按需選擇,然後選擇已建立的資料來源。
工作空間詳情頁
進入DataWorks工作空間列表頁,在頂部切換至目標地區,找到已建立的工作空間,單擊操作列的詳情,進入工作空間詳情頁。
切換至資料目錄頁簽,然後單擊綁定資料目錄。
目錄類型按需選擇,然後選擇已建立的資料來源。