全部產品
Search
文件中心

DataWorks:建立邏輯模型:明細表

更新時間:Nov 15, 2024

明細表用於儲存大量能夠體現商務活動狀況的實際資料或詳細數值,是資料彙總後依據某個維度產生的結果表。例如,分析產品銷售情況,您可以建立銷售明細表,用來儲存產品維度(作為外鍵)、時間維度(作為外鍵)以及銷售總量。本文為您介紹如何建立明細表。

前提條件

  • 已建立數倉分層。數倉分層是將不同功能作用的表掛載至統一的資料層,方便您尋找使用。明細表通常掛載於資料明細層(DWD層),您也可以根據業務需求,選擇將明細表掛載至其他資料層。建立資料分層,詳情請參見建立數倉分層

  • 已建立業務過程,用來確定明細表需要儲存哪類具體商務活動的資料。建立業務過程,詳情請參見業務過程

背景資訊

結合業務過程的規劃,梳理分析各業務過程中可能產生的實際資料,將這些實際資料欄位通過明細表的方式儲存下來。例如下訂單這一業務過程中,您可以建立下訂單這一明細表,用於記錄下單過程可能產生實際資料欄位,例如訂單ID、訂單建立時間、商品ID、數量、金額等。後續您可將這些明細表部署到數倉中,通過ETL將真實的資料按照明細表的定義方式進行匯總儲存,便於業務分析時取用。

事實表如上圖所示:

  • 創明細表時:

    • 可以關聯本明細表是用於分析哪個業務分類和業務過程,便於後續直接查看具體某一業務分類或業務過程下,有哪些明細表。

    • 可以指定明細表後續在資料建模分析使用時,明細表的資料存放區於數倉中的哪個資料分層,一般情況下明細表可儲存於資料明細層(DWD層)。

  • 明細表建立後,您可以為明細表添加欄位,且可以對明細表進行關聯和分區的設定,並且可使用統一的資料標準來進列欄位設定,保障全資料域中的資料的屬性是一致的。

  • 明細表建立配置完成後,可發布物化至計算引擎,後續在計算引擎中使用明細表進行資料分析。

建立明細表

  1. 進入智能資料建模頁面。

    登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資料開發與治理 > 資料建模,在下拉框中選擇對應工作空間後單擊進入資料建模

  2. 智能資料建模頁面的頂部功能表列,單擊維度建模,進入維度建模頁面。

  3. 建立明細表。

    1. 維度建模頁面,滑鼠移至上方至加號表徵圖,單擊邏輯模型 > 建立明細表

    2. 配置明細表的基本資料。

      事實表

      參數項

      描述

      數倉分層

      選擇已建立的數倉分層,僅支援選擇公用層的詳細資料層。後續使用此明細表時,明細表中的資料即儲存在數倉的這一層中。詳情請參見建立數倉分層

      業務過程

      已建立完成的業務過程,詳情請參見業務過程

      業務分類

      已建立的業務分類,詳情請參見業務分類

      儲存策略

      明細表格儲存體資料的策略,可以選擇每日增量每日全量等多種策略。

      表名規則

      選擇已配置的檢查器。用於檢測表名稱是否符合該檢查器制定的表命名規則。配置檢查器,詳情請參見配置及使用數倉分層檢查器

      表名

      表的內部名稱。若配置了表名檢查器,則表的名稱需按照檢查器規則配置。

      表中文名

      表的中文顯示名稱。

      生命週期

      明細表存在的時間周期。最大可儲存36000天。

      負責人

      當前明細表的責任人。預設為建立明細表的使用者。

      描述

      明細表的描述資訊。

  4. 配置完成後,單擊儲存,儲存成功後,可在左側分類樹進行查看。

添加表欄位

模型建立成功後,您需要為模型添加表欄位。

說明

您也可以通過FML語句建立欄位、關聯關係及分區,操作方法請參見代碼模式建模

您可以通過快捷模式代碼模式為表添加欄位,其中快捷模式支援從表/視圖匯入,即從計算引擎已存在的物理表或視圖匯入欄位,即在尋找已有表/視圖下拉式清單搜尋並選擇已存在的物理表或視圖進列欄位匯入。

說明

當前僅支援從MaxCompute、Hologres、EMR Hive引擎的表或視圖匯入。

快捷模式從表/視圖匯入

從表匯入

  1. 單擊快捷模式下,從表/視圖匯入後的展開

  2. 尋找已有表/視圖的輸入框中輸入相應名稱,即可選擇對應的表或視圖,並在已引用的表後選擇匯入表或視圖的全部欄位或部分欄位。

    說明
    • 輸入名稱時支援模糊比對,即輸入關鍵字便可搜尋到所有名稱中包含關鍵字的表或視圖。

    • 僅支援搜尋生產環境的表,不支援搜尋開發環境的表。

    • 匯入全部欄位表徵圖表示匯入全部欄位。

    • 部分欄位表徵圖表示匯入部分欄位。

  3. 當選擇匯入部分欄位時,在彈出的視窗中,會為您展示所選表的欄位,您可選擇需要添加至模型的欄位,完成後單擊介面下方的匯入

    說明

    如果已匯入欄位中存在欄位顯示名稱為空白的欄位,您可根據介面提示將欄位描述填充為欄位顯示名稱。

代碼模式

代碼模式為您提供代碼輸入的操作方式,單擊代碼模式後,彈窗中會根據已配置的模型資訊自動產生建模語言,您可以在此基礎上修改模型資訊,完成後單擊下方的確定代碼模式

設定表欄位資訊

完成上述操作後,模型所需欄位即已被添加至該模型中,此時您可以根據業務需求設定模型各欄位的關聯欄位冗餘欄位關聯粒度/指標

  1. 設定欄位屬性。

    欄位屬性預設展示欄位名稱類型欄位顯示名稱描述主鍵非空度量單位操作等基礎屬性。您可以在展示已添加欄位的右上方單擊欄位顯示設定,選擇需要展示出來的欄位屬性,並根據需要進行修改。

  2. 設定欄位的關聯欄位標準關聯標準代碼

    用於為已添加的欄位選擇關聯的欄位標準和標準代碼,規範欄位的取值內容及範圍。

    • 關聯欄位標準:統一規範管理含義相同但欄位名稱不同的資料,定義欄位的取值範圍、度量單位等內容。

    • 關聯標準代碼:設定某一欄位標準可選擇資料的內容以及範圍。

  3. 設定欄位的冗餘欄位

    在已添加欄位的操作列,單擊冗餘欄位,即可設定欄位的關聯欄位。

    傳統維度建模星型模型中,維度儲存在維度資料表中,通過事實表的外鍵擷取維度,目的是為了減少儲存消耗。而在維度模型設計中,為了提高下遊的查詢效率,降低資料擷取的複雜性,減少關聯表的數量,通常事實表中會冗餘常用的維度。例如,“訂單建立明細表”冗餘了“收貨地址維度資料表”中的“收貨地址”維度,包含“收貨人地址、收貨人手機號”等維度屬性。

    冗餘欄位

  4. 完成設定後單擊左上方的儲存

後續步驟

維度資料表建立完成後,您仍需為表配置欄位管理、關聯關係、分區設定等內容,並將該表發布至對應環境,詳情請參見發布模型至引擎