全部產品
Search
文件中心

DataWorks:DataWorks智能資料建模

更新時間:Dec 17, 2024

隨著業務的快速發展,企業資料呈幾何倍增長,資料量龐大、複雜、各類資料間標準不一致,往往會出現資料難以管理的現象。DataWorks智能資料建模服務,將無序、雜亂、繁瑣、龐大且難以管理的資料,進行結構化有序的管理。使企業中的資料產生更多的價值,將資料價值最大化。

前提條件

DataWorks智能資料建模為增值服務,您需要開通DataWorks智能資料建模後,才可以使用該產品功能,資料建模不同規格區別及計費標準,請參見智能資料建模計費標準

使用限制

DataWorks工作空間中,不同角色使用智能資料建模的限制如下:

  • 瀏覽模型詳情:訪客空間管理員模型設計師專案所有者等所有DataWorks工作空間中的角色均可瀏覽資料模型的相關資訊。更多DataWorks工作空間角色,詳情請參見空間級模組許可權管控

  • 編輯模型資訊:僅空間管理員開發營運模型設計師角色支援編輯模型資訊。如果您需要執行該操作,則可授權目標使用者擁有對應的角色許可權。授權詳情請參見空間級模組許可權管控

  • 發布資料模型:僅空間管理員營運角色支援發布已建立的資料模型。如果您需要執行該操作,則可授權目標使用者擁有對應的角色許可權。授權詳情請參見空間級模組許可權管控

概述

DataWorks資料建模支援數倉規劃設計、制定並沉澱企業資料標準、維度建模、資料指標定義,通過使用DataWorks資料建模,您可以將建模設計產出的維度資料表、明細表和匯總表物化到計算引擎中並進一步應用。

架構圖

  • 數倉規劃

    使用DataWorks進行資料建模時,您可以在數倉規劃頁面進行資料分層、業務分類、主題域和業務過程設計。

    • 資料分層

      您可以結合業務情境、資料情境綜合考慮設計數倉的資料分層,DataWorks為您預設建立業界通用的五層數倉分層:

      • 資料引入層 ODS(Operational Data Store)

      • 詳細資料層 DWD(Data Warehouse Detail)

      • 摘要資料層 DWS(Data Warehouse Summary)

      • 應用資料層 ADS(Application Data Service)

      • 公用維度層 DIM(Dimension)

      您也可以根據業務需求建立其他分層資料層,建立資料分層的操作請參見建立數倉分層

    • 業務分類

      當企業業務比較複雜,不同類型業務彼此間需要共用資料域,但是又希望能在模型設計和應用過程中快速定位本業務的資料時,您可結合真實業務情況,規劃不同的業務分類,在後續建模的維度資料表和明細表中,將其關聯到對應的業務分類中。建立業務分類的操作可參見業務分類

    • 資料域

      資料域是一個較高層次的資料歸類標準,是對企業業務過程進行抽象、提煉、組合的集合,是企業業務人員在使用資料時第一個分組入口,可以協助企業業務人員快速的從海量的資料中快速圈定到自己的業務資料。

      資料域面向業務分析,一個資料域對應一個宏觀分析領域,比如採購域、供應鏈域、HR域、電商業務域等。資料域的設定建議由統一組織或者人員(如資料架構師或者模型小組成員)進行管理和設定,資料域設計人員需要對企業有深刻的業務理解,能夠表達對業務的解釋和抽象。使用DataWorks進行資料域的規劃建設的操作,請參見資料域

    • 業務過程

      業務過程是對商務活動流程的描述,例如在電商領域,加購、下單、支付等都可以是一個業務過程。進行業務效果分析時,業務過程有非常典型的應用,例如常用漏鬥分析,即將購買商品的商務活動分解為瀏覽商品、加入購物車、下訂單、付款、確認收貨等業務過程,統計每個業務過程的“訂單數”,將可以針對“訂單數”這一指標做漏鬥分析。使用DataWorks建立業務過程的操作請參見業務過程

  • 資料標準

    DataWorks資料建模支援在建模前規劃制定資料標準,或在建模使用過程中根據業務情況沉澱企業業務的資料標準。通過規範約束標準代碼、度量單位、欄位標準、命名詞典,來保障後續建模與應用過程中資料處理的一致性。

    例如,現有註冊表和登入表兩張表,註冊表中儲存了會員ID,欄位名為user_id,登入表中也儲存了會員ID,欄位名為userid,此時針對會員ID這個資料建立統一的欄位標準,例如指定資料處理的標準代碼、指定欄位的屬性要求(例如欄位的資料類型、長度、預設值等)、指定資料的度量單位。建立好欄位標準後,後續在建模過程中涉及到會員ID這個欄位的設定時,即可直接關聯此標準,以此來保障所有會員ID欄位的標準統一。

    DataWorks中欄位標準的建立操作請參見欄位標準

  • 維度建模

    DataWorks的資料建模理念遵循維度建模思想,使用DataWorks的維度建模功能進行資料倉儲建模設計時:

    • 維度資料表

      結合業務的資料域的規劃,提取出各業務資料域中進行資料分析時可能存在的維度,並將維度及其屬性通過維度資料表的方式儲存下來。例如,在進行電商業務資料分析時,可用的維度及其屬性有:訂單維度(屬性包括訂單ID、訂單建立時間、買家ID、賣家ID等)、使用者維度(性別、出生日期等)、商品維度(包括商品ID、商品名稱、商品上架時間)等,此時您就可以將這些維度和屬性建立為訂單維度資料表、使用者維度資料表、商品維度資料表等,將維度屬性記錄作為維度資料表的欄位。後續您可將這些維度資料表部署到數倉中,通過ETL將實際維度資料按照維度資料表定義的方式進行儲存,方便業務人員在後續的資料分析時進行取用。

    • 明細表

      結合業務過程的規劃,梳理分析各業務過程中可能產生的實際資料,將這些實際資料欄位通過明細表的方式儲存下來。例如下訂單這一業務過程中,您可以建立下訂單這一明細表,用於記錄下單過程可能產生實際資料欄位,例如訂單ID、訂單建立時間、商品ID、數量、金額等。後續您可將這些明細表部署到數倉中,通過ETL將真實的資料按照明細表的定義方式進行匯總儲存,便於業務分析時取用。

    • 匯總表

      您可以結合業務資料分析和數倉分層,將一些明細的事實資料和維度資料先進行匯總分析,建立匯總表,後續資料分析時直接取用匯總表中的資料即可,無需再取用明細表和維度資料表中的資料。

    • 逆向建模

      逆向建模主要用於將其他建模工具產生的模型反向建模至DataWorks的維度建模中。例如,當您已通過其他建模工具產生模型,此時,想更換為DataWorks的智能建模進行後續建模工作,則可以使用逆向建模功能。該功能無需您再次執行建模操作,即可協助您快速將已有模型反向建模至DataWorks的維度建模中,節省了大量的時間成本。

    維度資料表、明細表、匯總表的建立操作請參見建立邏輯模型:維度資料表建立邏輯模型:明細表建立邏輯模型:匯總表。逆向建模操作,詳情請參見逆向建模:物理表反向建模

  • 資料指標

    DataWorks的資料建模提供資料指標功能,為您提供統一的指標體系建立能力。

    指標體系由原子指標修飾詞時間周期派生指標構成。

    • 原子指標:是基於某一業務過程下的度量,如“支付訂單”業務過程中的“支付金額”。

    • 修飾詞:是對指標統計業務範圍的限定,如限定“支付金額”的統計範圍為“母嬰類產品”。

    • 時間周期:用於明確指標統計的時間範圍或者時間點,如指定統計“支付金額”的時間周期為“最近7天”。

    • 派生指標:由原子指標、修飾詞、時間周期組合定義。如,統計“最近7天”“母嬰類產品”的“支付金額”。

    指標體系的建立操作請參見資料指標概述

資料建模的必要性

  • 海量資料的標準化管理

    企業業務越龐巨量資料結構就越複雜,企業資料量會隨著企業業務的快速發展而迅速增長,如何結構化、有序地管理和儲存資料是每個企業都將面臨的一個挑戰。

  • 業務資料互聯互連,打破資訊壁壘

    公司內部各業務、各部門之間資料獨立自主形成了資料孤島,導致決策層無法清晰、快速地瞭解公司各類資料情況。如何打破部門或業務領域之間的資訊孤島是企業資料管理的一大難題。

  • 資料標準整合,統一靈活對接

    同一資料不同描述,企業資料管理難、內容重複、結果不準確。如何制定統一的資料標準又不打破原有的系統架構,實現靈活對接上下遊業務,是標準化管理的核心重點之一。

  • 資料價值最大化,企業利潤最大化

    在最大程度上用好企業各類資料,使企業資料價值最大化,為企業提供更高效的資料服務。