全部產品
Search
文件中心

:資料目錄

更新時間:Dec 18, 2024

Data Studio資料目錄全面支援OpenLake湖倉一體架構,實現統一中繼資料管理,建表方式多樣化,輔助智能建表,提升資料研發效率,滿足不同類型使用者多樣化中繼資料建立及管理的需求。

前提條件

建立工作空間,並選擇參加資料開發(Data Studio)(新版)公測

資料目錄管理

添加資料目錄

預設添加

DataWorks在建立工作空間,並綁定計算資源(MaxCompute、Hologres、StarRocks)時,會同步建立對應資料來源並綁定其資料目錄。工作空間繫結資料目錄會同步展示在資料目錄中,無需您手動綁定。具體詳情請參見建立工作空間並綁定計算資源

主動添加

說明

Data Studio的資料目錄支援您按需綁定個人有許可權的資料目錄。

  1. 進入DataWorks工作空間列表頁,在頂部切換至目標地區,找到已建立的工作空間,單擊操作列的快速進入 > 資料開發(新版),進入Data Studio。

  2. 在左側導覽列單擊image,進入資料目錄。

  3. 按需綁定資料目錄。

    MaxCompute

    • 如果您的專案空間未綁定計算資源,則首次開啟MaxCompute資料目錄時,該目錄下為空白,請單擊image添加專案添加MaxCompute資料目錄。

      image

      您可以尋找並添加您需要添加的MaxCompute Project作為您的資料目錄。

      image

      • MaxCompute - 專案

        該頁簽下包含與DataWorks相同地區下,您具備系統管理權限的MaxCompute專案,您可以單擊操作添加,即可將該專案添加到資料目錄。

        該頁簽下還包含MaxCompute內建專案SYSTEM_CATALOGBIGDATA_PUBLIC_DATASET。

        • SYSTEM_CATALOG:該專案內建INFORMATION_SCHEMA,訪問該內建Schema提供的唯讀視圖,可以查詢目前使用者所有MaxCompute專案的中繼資料資訊以及使用歷史資訊,詳情請參見租戶層級Information Schema

        • BIGDATA_PUBLIC_DATASET:該專案儲存著MaxCompute開放的公開資料集資料。MaxCompute的公開資料集的詳細資料,請參見公開資料集概述

      • DataWorks 資料來源

        該頁簽下包含DataWorks資料來源綁定的MaxCompute Project,您可以單擊操作列的添加為資料目錄,將該資料來源的資料目錄綁定至工作空間。

    Hologres

    • 如果您在建立工作空間後,已通過工作空間詳情頁或管理中心綁定了資料目錄,則此時在資料開發資料目錄中即可查看並管理資料目錄。更多詳情,請參見建立工作空間並綁定計算資源

    • 如果您的專案空間未綁定計算資源,則首次開啟Hologres資料目錄時,該目錄下為空白,請單擊image添加執行個體添加Hologres資料目錄。

      image

      您可以按需添加Hologres - 執行個體或已在DataWorks建立的Hologres資料來源。

      • Hologres - 執行個體

        該頁簽下包含與DataWorks專案空間相同地區下,您具備系統管理權限的Hologres執行個體,您可以單擊操作添加,將該執行個體的資料目錄綁定至專案空間。

      • DataWorks 資料來源

        該頁簽下包含DataWorks資料來源綁定的MaxCompute專案,您可以單擊操作列的添加為資料目錄,將該資料來源的資料目錄綁定至工作空間。

    DLF Catalog

    • 如果您在建立工作空間後,已通過工作空間詳情頁或管理中心綁定了資料目錄,則此時在資料開發資料目錄中即可查看並管理資料目錄。更多詳情,請參見建立工作空間並綁定計算資源

    • 如果您的專案空間未綁定計算資源,則首次開啟DLF Catalog資料目錄時,該目錄下為空白,請單擊image添加Catalog添加DLF Catalog資料目錄。

      image

      DLF Catalog列表頁包含與DataWorks專案空間相同地區下,您具備系統管理權限的DLF Catalog,您可以單擊操作添加,將其綁定至專案空間。

    StarRocks

    • 如果您在建立工作空間後,已通過工作空間詳情頁或管理中心綁定了資料目錄,則此時在資料開發資料目錄中即可查看並管理資料目錄。更多詳情,請參見建立工作空間並綁定計算資源

    • 如果您的專案空間未綁定計算資源,則首次開啟StarRocks資料目錄時,該目錄下為空白,請單擊image添加執行個體添加StarRocks資料目錄。

      image

      您可以添加已在DataWorks建立的StarRocks資料來源。

      DataWorks 資料來源頁簽下包含已建立的資料來源(通過綁定計算資源自動建立、管理中心資料來源列表手動建立),您可以單擊操作列的添加為資料目錄,將該資料來源的資料目錄綁定至工作空間。

    AI Catalog

    image

    該資料目錄下包含資料集和模型

    • 資料集:包括公開資料集和自訂資料集。

    • 模型:包括AI專案空間中的模型資料。

    說明

    您可以前往人工智慧平台PAI控制台,在左側導覽列單擊工作空間列表,進入DataWorks專案空間同名的PAI專案空間,然後在AI資產管理 > 資料集中查看或建立自訂資料集,在AI資產管理 > 模型中查看或註冊新模型。

移出資料目錄

  • 預設添加的資料目錄,不支援在資料開發(Data Studio)的資料目錄中進行解除綁定,需前往管理中心 > 計算資源頁面或工作空間詳情頁的計算資源頁簽解除綁定。

  • 主動添加的資料目錄,可在資料開發(Data Studio)的資料目錄中,單擊操作列的解除綁定資料目錄

建立資料對象

Data Studio資料目錄,支援通過多種方式建表,如可視化建表、DDL建表及Copilot智能建表。此外,資料目錄還支援建立外表、視圖、資源及函數等資料對象。具體操作說明如下:

說明
  • 本文以MaxCompute表為例,其他類型的資料目錄以及視圖、資源、函數操作方法請根據介面提示操作。

  • 資源與函數需要在左側一級目錄中單擊資源管理(image),建立資源或函數。

建立表

  1. 開啟已添加的MaxCompute專案,您可以通過多種方式進入建立表頁面。

    • 在資料目錄中單擊,進入表清單頁,該頁面展示當前Schema下所有內表,然後單擊建立表image

    • 在資料目錄中右鍵選擇建立 > 建立表

    • 在資料目錄中單擊右側的image

  2. 建立表頁面您可以通過如下多種方式按需建立表。

    • ①:可視化建表:進入表建立頁面,頁面左側支援您手動錄入表名生命週期表欄位、表分區表類型等資訊,頁面右側DDL地區將會自動解析產生DDL語句。

    • ②:DDL建表:進入表建立頁面,頁面右側DDL地區支援您直接編寫建表DDL代碼,頁面左側可視化地區內容也會自動對應。

    • ③:Copilot建表:對於已經參加Copilot公測的客戶,在表建立頁面頂部操作地區,可以單擊Copilot建表,輸入建表需求,如“建立商品維度資料表”,由大模型產生模型表名、表描述、欄位名、欄位描述等內容,點擊接受即可。此外,您還可以使用欄位資訊欄位列表上面的產生欄位,產生欄位描述來進列欄位產生。

    image

  3. 配置完成後,單擊建立表頁面頂部的發布,在MaxCompute專案中建立該表。

查看並修改表

  1. 在資料目錄中單擊,然後在表列表頁面選擇需要查看的表。

    您也可以直接在資料目錄中單擊具體表名。image

  2. 查看錶的明細資訊表欄位分區欄位)、基本資料所屬專案負責人生命週期等)以及DDL語句。

  3. 您可以單擊右上方編輯按鈕,修改表的相關配置(表名生命週期欄位資訊等)。

刪除表

在資料目錄中右鍵待刪除的表,然後單擊刪除,即可刪除此表。

附錄:從管理中心、工作空間詳情頁綁定資料目錄

說明

管理中心、工作空間詳情頁綁定資料目錄基於資料來源,您需要建立相應資料來源後,才可以綁定其資料目錄。

  1. 建立資料來源。

    1. 進入DataWorks管理中心頁,頂部切換至目標地區,然後選擇已建立的工作空間,單擊進入管理中心

    2. 在左側導覽列單擊資料來源 > 資料來源列表

    3. 單擊建立資料來源。目前支援資料目錄的資料來源有Data Lake Formation 2.0(DLF 2.0)MaxComputeHologresStarRocks,根據頁面參數提示,完成資料來源建立。

  2. 您可以在管理中心或工作空間詳情頁綁定資料目錄。

    • 管理中心

      1. 在左側導覽列單擊資料目錄,然後單擊綁定資料目錄

      2. 目錄類型按需選擇,然後選擇已建立的資料來源。

    • 工作空間詳情頁

      1. 進入DataWorks工作空間列表頁,在頂部切換至目標地區,找到已建立的工作空間,單擊操作列的詳情,進入工作空間詳情頁。

      2. 切換至資料目錄頁簽,然後單擊綁定資料目錄

      3. 目錄類型按需選擇,然後選擇已建立的資料來源。