當您的物理引擎中已有大量物理表,且希望通過DataWorks智能資料建模產品統一管理所有模型,則可使用逆向建模功能,將已有物理表反向建模至DataWorks的維度建模中。該功能協助您無需再次執行建模操作即可快速建立模型,節省了大量的時間成本。本文為您介紹如何進行逆向建模。
前提條件
使用限制
當前僅支援對MaxCompute、EMR Hive引擎中生產環境的表進行逆向建模。
建模流程
逆向建模主要用於將巨量資料引擎中已經存在的物理表反向建模至DataWorks的維度建模中,其建模流程如下:
配置逆向建模策略。
建模範圍:建立模型前,您需要根據業務需求確定需要將哪些表逆向產生模型。
該過程需確定表所在的工作空間、引擎執行個體,以及使用精準名稱還是關鍵字匹配表名,匹配到的表後續將會被逆向產生相應模型。
建模規則:確定逆向建立的模型所屬的分層及命名規範。
該過程您可使用檢查器或自訂方式規範模型名稱。統一同一分層中模型的命名格式,便於通過名稱即可瞭解該模型所屬的業務類型、資料粒度等資訊。模型名稱檢查器詳情,請參見配置及使用數倉分層檢查器。
建模執行方式:確定建模時是全量建立目標模型,還是僅建立維度建模中不存在的目標模型。
說明逆向建模為無法復原操作,建立逆向策略並使用該策略產生模型後,該策略則不可被更改,請您根據實際業務需求提前做好策略規劃。
詳情請參見配置逆向建模策略。
解析並匹配模型。
DataWorks會根據您配置的建模策略進行解析,匹配出待建立的模型。
確認模型資訊。
DataWorks初步產生的表模型可能會存在偏差,您需要根據業務需求進行模型資訊的調整。例如,更改表所在的資料域、業務過程等模型基礎資訊。詳情請參見確認模型資訊。
產生最終模型。
建模完成後,您可查看產生的模型資訊及狀態。查看建模失敗的模型錯誤資訊,快速定位問題並及時處理。
說明建模成功的模型已被物化至相應引擎,您無需再進行發布。
建模成功的模型會被存放至維度建模中,您可以進入維度建模頁面查看並進行後續的管理操作,詳情請參見模型管理。
操作步驟
進入逆向建模。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的 ,在下拉框中選擇對應工作空間後單擊進入資料建模。
在智能資料建模頁面頂部導覽列,單擊維度建模,進入維度建模頁面。
在維度建模頁面的左側導覽列,單擊逆向建模,進入逆向建模頁面。
啟動建模。
首次使用逆向建模,請單擊逆向建模介面中間的快速開始,啟動建模。
非首次使用逆向建模,請單擊建模列表右上方的開始逆向建模,啟動建模。
配置逆向策略。
說明逆向建模為無法復原操作,建立逆向策略並使用該策略產生模型後,該策略則不可被更改,請您根據實際業務需求提前做好策略規劃。
配置策略資訊。
參數
描述
專案空間
選擇待逆向建模的表所在的DataWorks工作空間。
說明僅支援選擇當前登入使用者所在的DataWorks工作空間(即該使用者為工作空間成員)。如果您需要選擇目標DataWorks工作空間,則可添加使用者為工作空間成員,詳情請參見空間級模組許可權管控。
引擎類型
當前僅支援逆向建模MaxCompute、EMR Hive引擎中生產專案的物理表。
引擎執行個體
選擇待逆向建模的表所在的引擎執行個體。
表名匹配規則
選擇使用英文名稱的關鍵字或精準全稱在目標引擎中匹配相應表,後續會對匹配結果進行逆向建模。匹配方式如下:
模糊比對:輸入關鍵詞,即可匹配到名稱中包含該關鍵詞的所有表。
精準匹配:輸入的表名稱為表的精準全稱。
說明多個表名稱之間使用英文分號(;)分隔,並且英文分號(;)後不能添加空格。
若未匹配到任何滿足條件的表,則此次逆向建模失敗,即不會產生任何模型。
逆向後模型所在資料分層
公用層:建立明細表、維度資料表、匯總表時,可選擇該層級。
應用程式層:建立應用表、維度資料表時,可選擇該層級。
表命名規範
用於解析通過表名匹配規則匹配到的表名稱,來規範逆向建模後的模型名稱,並將模型掛載至相應的數倉層級下。具體如下:
解析規則
解析匹配到的表名稱及底線個數。
表名稱最多可包含9個底線,每兩個底線之間可選擇配置為業務過程、資料域、自訂內容等資訊。
當識別到表名稱包含對應數倉層級時,則該表逆向產生的模型將掛載至對應的層級下。
說明當識別到表名稱中不存在對應的資料域、業務過程等數倉層級時,則該模型的分層為空白。您可在確認模型資訊時修改相應模型所屬的分層。
解析方式
表名檢查器:選擇已建立的檢查器解析匹配到的表名稱。建立檢查器,詳情請參見配置及使用數倉分層檢查器。
自訂:通過自由組合業務過程、資料域、業務分類、自訂內容等資訊,解析匹配到的表名稱。
執行方式
選擇建立模型的方式:
全量覆蓋:DataWorks會將所有匹配到的表逆向建立至維度建模中。
當您需要全量重新為匹配結果建立模型時,可選擇該方式。
說明如果維度建模中已存在匹配結果對應的模型,選擇全量覆蓋時會將原已存在的模型刪除重建。
累加式更新:DataWorks會對匹配結果進行如下處理:
識別匹配結果在維度建模中是否已建立模型,並將已建立模型的表過濾。
將維度建模中未建立模型的匹配結果逆向建模至維度建模中。
當您知曉部分匹配結果在維度建模中已建立模型,並且該匹配結果未改動,不希望重複建立時,可選擇該方式。
單擊開始建立模型,通過建模策略進行模型解析。
確認模型資訊。
確認模型資訊。
DataWorks根據您配置的建模策略產生初步模型,您可結合實際需求,調整表類型,以及所屬的數倉分層、資料域等資訊。同時,當目標表無需建模時,也可將其刪除。
單擊開始產生模型,產生模型。
查看建模結果。
模型產生後,您可查看本次成功建立的各類型模型數量,以及建模失敗的表詳細資料,單擊錯誤記錄檔,即可快速定位問題原因並及時處理。
說明建模成功的模型已被物化至相應引擎,您無需再進行發布。
建模成功的模型會被存放至維度建模中,您可以進入維度建模頁面查看並進行後續的管理操作,詳情請參見模型管理。
查看建模列表
在
頁面,您可查看已建立任務的詳細資料及動作記錄。地區 | 描述 |
1 | 在該地區,您可通過任務ID、操作人、操作日期進行篩選,查看指定條件的逆向建模任務。 |
2 | 在該地區,您可查看逆向建模任務的逆向規則、建模結果等詳情。
|
後續步驟
逆向建模完成後,您可執行如下操作: