全部產品
Search
文件中心

:DataWorks支援MaxCompute Schema

更新時間:Jun 19, 2024

MaxCompute新增Schema功能後,DataWorks各模組涉及MaxCompute表、資源、函數等相關功能的使用邏輯也根據MaxCompute Schema進行了相應調整。本文為您介紹DataWorks各模組對MaxCompute Schema能力的支援情況。

背景資訊

MaxCompute新增了Schema功能後,由原有的兩層模型結構(project_name.table_name)變更為包含Schema的三層模型結構(project_default.schema_default.table_name),Schema用於在MaxCompute的專案下對Table、Resource、Function等進行歸類,詳情請參見Schema操作

注意事項

存量租戶從MaxCompute兩層結構升級至三層結構的情境,注意事項如下:

  • 僅當租戶層級開啟Schema功能(即MaxCompute專案的odps.namespace.schema配置為true)時,DataWorks才支援展示Schema相關互動。

    說明

    若只有某些專案儲存使用了自訂的Schema,而租戶層級odps.namespace.schema配置為false,由於DataWorks不支援使用自訂Schema,因此該情境DataWorks無法展示Schema相關互動。

  • 按照MaxCompute解析規則,原有代碼中格式為project.table的路徑可能預設被解析為project_default.project.table,導致找不到表路徑而報錯。

  • DataStudio中通過自動解析功能得出的依賴關係保持不變。

開啟MaxCompute Schema

您可根據業務需求選擇是否需要開啟MaxCompute Schema,具體如下表。

業務情境

開啟操作

說明

任務、MaxCompute資源較少的租戶

  • MaxCompute

    提交工單申請開啟MaxCompute Schema(即odps.namespace.schema=true)。

  • DataWorks:原有的兩層模型互動介面隨MaxCompute Schema的開啟而切換為三層介面,且不可回退。

MaxCompute Schema為租戶層級開啟,開啟後該租戶下的所有地區均使用包含Schema的三層模型,且不可關閉。

任務、MaxCompute資源較多的租戶

不支援開啟MaxCompute Schema(即odps.namespace.schema=false)。

不涉及

DataWorks各模組對MaxCompute Schema支援情況

若您的MaxCompute專案已開啟Schema功能,則DataWorks控制台的大部分操作均需指定Schema。開啟MaxCompute Schema後,DataWorks各模組對Schema的支援情況如下表。

模組

MaxCompute Schema支援情況

DataStudio

DataStudio介面操作的變化如下:

  • 基礎操作

    • 在進行表、資源、函數相關操作時,需指定Schema。

    • 支援在表管理、公用表頁面,按照MaxCompute引擎執行個體、Schema查看錶。

    • 匯入表時,展示表所屬的Schema。

  • 依賴關係設定

    包含Schema的三層模型與二層模型的自動解析規則存在一定差異,詳情請參見MaxCompute Schema的自動解析規則

資料開發介面配置

智能資料建模

維度建模中執行如下操作時支援指定Schema:

  • 尋找已有表或冗餘表。

  • 模型發布至MaxCompute引擎。

  • 進行逆向建模。

維度建模支援選擇Schema

Data Integration

離線同步、即時同步、同步解決方案選擇源表及目標表時支援選擇Schema。同時,支援在配置同步任務過程中建立Schema。Data Integration同步任務支援選擇Schema

資料地圖

資料地圖頁面將按照schema.table進行展示。

說明

暫不支援通過Schema搜尋目標表。

資料地圖展示Schema

資料品質

  • 資料品質頁面將按照schema.table進行展示。

  • 使用自訂SQL建立資料品質規則時,需按照schema.tablename方式指定表。

說明

暫不支援通過Schema搜尋目標表。

資料品質

資訊安全中心

支援按照schema.table方式展示及篩選目標表。例如,許可權申請頁面表資訊展示。資訊安全中心展示Schema

核准中心

支援按照schema.table方式展示及篩選目標表。例如,審批詳情頁面計算引擎資訊。核准中心展示Schema

資料服務

涉及MaxCompute表的頁面支援展示及篩選Schema。例如,編寫查詢SQL。資料服務展示Schema

資料分析

涉及MaxCompute表的頁面支援展示及篩選Schema。例如,SQL查詢的分類樹、SQL編輯器。資料分析展示Schema

資料保護傘

涉及MaxCompute表的頁面支援展示及篩選Schema。例如,敏感性資料識別、動待用資料脫敏等。資料保護傘展示Schema

MaxCompute Schema的自動解析規則

在包含Schema的三層模型下,使用自動解析時系統會將代碼中的表補全為odps_project.schema.table格式,如果schema=default,則會隱藏該Schema,具體如下表。

Schema類型

odps_project.schema.table生態文法

自動解析結果

default

project.default.table

default.table

odps_project.table

非default(樣本為自訂的schemaA

project.schemaA.table

schemaA.table

odps_project.schemaA.table

說明

自動解析功能的原理介紹,詳情請參見調度依賴配置指引