全部產品
Search
文件中心

DataWorks:逆向建模:物理表反向建模

更新時間:Jun 26, 2024

當您的物理引擎中已有大量物理表,且希望通過DataWorks智能資料建模產品統一管理所有模型,則可使用逆向建模功能,將已有物理表反向建模至DataWorks的維度建模中。該功能協助您無需再次執行建模操作即可快速建立模型,節省了大量的時間成本。本文為您介紹如何進行逆向建模。

前提條件

  • 物理引擎中已有大量物理表,同時,物理引擎已在目標DataWorks工作空間建立資料來源。建立資料來源的更多詳情,請參見建立並管理資料來源

  • 已建立數倉分層,用於確定模型所屬的層級。詳情請參見建立數倉分層

  • 公用層用於加工、整合貼源層輸入的公用資料,建立統一的指標維度,構建可複用面向分析和統計的明細事實資料和摘要資料;應用程式層基於實際應用需求,擷取公用層加工整合後的資料,面向具體應用情境或指定產品進行的個人化資料統計。

    建立的模型可歸屬於公用層應用程式層,不同層級歸屬需單獨完成如下準備:

    • 公用層

      • 已建立資料域,用於確定模型所統計的業務資料範圍。詳情請參見資料域

      • 已建立業務過程,用於確定模型所統計分析的具體商務活動。詳情請參見業務過程

    • 應用程式層

      • 已建立資料集市,用於確定模型所統計的特定應用情境或產品的資料類別。詳情請參見資料集市

      • 已建立主題域,用於確定模型所統計的特定業務資料主題。詳情請參見主題域

使用限制

當前僅支援對MaxCompute、EMR Hive引擎中生產環境的表進行逆向建模。

建模流程

逆向建模主要用於將巨量資料引擎中已經存在的物理表反向建模至DataWorks的維度建模中,其建模流程如下:逆向建模流程

  1. 配置逆向建模策略。

    • 建模範圍:建立模型前,您需要根據業務需求確定需要將哪些表逆向產生模型。

      該過程需確定表所在的工作空間、引擎執行個體,以及使用精準名稱還是關鍵字匹配表名,匹配到的表後續將會被逆向產生相應模型。

    • 建模規則:確定逆向建立的模型所屬的分層及命名規範。

      該過程您可使用檢查器或自訂方式規範模型名稱。統一同一分層中模型的命名格式,便於通過名稱即可瞭解該模型所屬的業務類型、資料粒度等資訊。模型名稱檢查器詳情,請參見配置及使用數倉分層檢查器

    • 建模執行方式:確定建模時是全量建立目標模型,還是僅建立維度建模中不存在的目標模型。

    說明

    逆向建模為無法復原操作,建立逆向策略並使用該策略產生模型後,該策略則不可被更改,請您根據實際業務需求提前做好策略規劃。

    詳情請參見配置逆向建模策略

  2. 解析並匹配模型。

    DataWorks會根據您配置的建模策略進行解析,匹配出待建立的模型。

  3. 確認模型資訊。

    DataWorks初步產生的表模型可能會存在偏差,您需要根據業務需求進行模型資訊的調整。例如,更改表所在的資料域業務過程等模型基礎資訊。詳情請參見確認模型資訊

  4. 產生最終模型。

    建模完成後,您可查看產生的模型資訊及狀態。查看建模失敗的模型錯誤資訊,快速定位問題並及時處理。

    說明
    • 建模成功的模型已被物化至相應引擎,您無需再進行發布。

    • 建模成功的模型會被存放至維度建模中,您可以進入維度建模頁面查看並進行後續的管理操作,詳情請參見模型管理

操作步驟

  1. 進入逆向建模

    1. 登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資料建模與開發 > 資料建模,在下拉框中選擇對應工作空間後單擊進入資料建模

    2. 資料建模頁面頂部導覽列,單擊維度建模,進入維度建模頁面。

    3. 維度建模頁面的左側導覽列,單擊逆向建模,進入逆向建模頁面。

  2. 啟動建模。

    • 首次使用逆向建模,請單擊逆向建模介面中間的快速開始,啟動建模。

    • 非首次使用逆向建模,請單擊建模列表右上方的開始逆向建模,啟動建模。

  3. 配置逆向策略。

    說明

    逆向建模為無法復原操作,建立逆向策略並使用該策略產生模型後,該策略則不可被更改,請您根據實際業務需求提前做好策略規劃。

    1. 配置策略資訊。

      逆向策略

      參數

      描述

      專案空間

      選擇待逆向建模的表所在的DataWorks工作空間。

      說明

      僅支援選擇當前登入使用者所在的DataWorks工作空間(即該使用者為工作空間成員)。如果您需要選擇目標DataWorks工作空間,則可添加使用者為工作空間成員,詳情請參見空間級模組許可權管控

      引擎類型

      當前僅支援逆向建模MaxCompute、EMR Hive引擎中生產專案的物理表。

      引擎執行個體

      選擇待逆向建模的表所在的引擎執行個體。

      表名匹配規則

      選擇使用英文名稱的關鍵字或精準全稱在目標引擎中匹配相應表,後續會對匹配結果進行逆向建模。匹配方式如下:

      • 模糊比對:輸入關鍵詞,即可匹配到名稱中包含該關鍵詞的所有表。

      • 精準匹配:輸入的表名稱為表的精準全稱。

      說明
      • 多個表名稱之間使用英文分號(;)分隔,並且英文分號(;)後不能添加空格。

      • 若未匹配到任何滿足條件的表,則此次逆向建模失敗,即不會產生任何模型。

      逆向後模型所在資料分層

      • 公用層:建立明細表、維度資料表、匯總表時,可選擇該層級。

      • 應用程式層:建立應用表、維度資料表時,可選擇該層級。

      表命名規範

      用於解析通過表名匹配規則匹配到的表名稱,來規範逆向建模後的模型名稱,並將模型掛在至相應的數倉層級下。具體如下:

      • 解析規則

        • 解析匹配到的表名稱及底線個數。

          表名稱最多可包含9個底線,每兩個底線之間可選擇配置為業務過程資料域自訂內容等資訊。

        • 當識別到表名稱包含對應數倉層級時,則該表逆向產生的模型將掛載至對應的層級下。

        說明

        當識別到表名稱中不存在對應的資料域業務過程等數倉層級時,則該模型的分層為空白。您可在確認模型資訊時修改相應模型所屬的分層。

      • 解析方式

        • 表名檢查器:選擇已建立的檢查器解析匹配到的表名稱。建立檢查器,詳情請參見配置及使用數倉分層檢查器

        • 自訂:通過自由組合業務過程資料域業務分類自訂內容等資訊,解析匹配到的表名稱。

      執行方式

      選擇建立模型的方式:

      • 全量覆蓋:DataWorks會將所有匹配到的表逆向建立至維度建模中。

        當您需要全量重新為匹配結果建立模型時,可選擇該方式。

        說明

        如果維度建模中已存在匹配結果對應的模型,選擇全量覆蓋時會將原已存在的模型刪除重建。

      • 累加式更新:DataWorks會對匹配結果進行如下處理:

        1. 識別匹配結果在維度建模中是否已建立模型,並將已建立模型的表過濾。

        2. 將維度建模中未建立模型的匹配結果逆向建模至維度建模中。

        當您知曉部分匹配結果在維度建模中已建立模型,並且該匹配結果未改動,不希望重複建立時,可選擇該方式。

    2. 單擊開始建立模型,通過建模策略進行模型解析。

  4. 確認模型資訊。

    1. 確認模型資訊。

      DataWorks根據您配置的建模策略產生初步模型,您可結合實際需求,調整表類型,以及所屬的數倉分層資料域等資訊。同時,當目標表無需建模時,也可將其刪除。確認模型資訊

    2. 單擊開始產生模型,產生模型。

  5. 查看建模結果。

    模型產生後,您可查看本次成功建立的各類型模型數量,以及建模失敗的表詳細資料,單擊錯誤記錄檔,即可快速定位問題原因並及時處理。

    說明
    • 建模成功的模型已被物化至相應引擎,您無需再進行發布。

    • 建模成功的模型會被存放至維度建模中,您可以進入維度建模頁面查看並進行後續的管理操作,詳情請參見模型管理

    產生模型

查看建模列表

逆向建模 > 建模列表頁面,您可查看已建立任務的詳細資料及動作記錄。查看建模列表

地區

描述

1

在該地區,您可通過任務ID操作人操作日期進行篩選,查看指定條件的逆向建模任務。

2

在該地區,您可查看逆向建模任務的逆向規則、建模結果等詳情。

  • 對於已執行的建模任務,單擊日誌查看即可查看任務的日誌資訊。

  • 對於未執行的建模任務,單擊任務查看即可返回任務詳情頁繼續執行任務。

後續步驟

逆向建模完成後,您可執行如下操作:

  • 進入維度建模頁面的模型管理分類樹,查看建立的模型。詳情請參見發布模型至引擎

  • 進入資料開發頁面,進行相關的資料開發操作。資料開發的功能介紹,詳情請參見資料開發功能索引