明細表用於儲存大量能夠體現商務活動狀況的實際資料或詳細數值,是資料彙總後依據某個維度產生的結果表。例如,分析產品銷售情況,您可以建立銷售明細表,用來儲存產品維度(作為外鍵)、時間維度(作為外鍵)以及銷售總量。本文為您介紹如何建立明細表。
前提條件
背景資訊
結合業務過程的規劃,梳理分析各業務過程中可能產生的實際資料,將這些實際資料欄位通過明細表的方式儲存下來。例如下訂單這一業務過程中,您可以建立下訂單這一明細表,用於記錄下單過程可能產生實際資料欄位,例如訂單ID、訂單建立時間、商品ID、數量、金額等。後續您可將這些明細表部署到數倉中,通過ETL將真實的資料按照明細表的定義方式進行匯總儲存,便於業務分析時取用。
如上圖所示:
創明細表時:
可以關聯本明細表是用於分析哪個業務分類和業務過程,便於後續直接查看具體某一業務分類或業務過程下,有哪些明細表。
可以指定明細表後續在資料建模分析使用時,明細表的資料存放區於數倉中的哪個資料分層,一般情況下明細表可儲存於資料明細層(DWD層)。
明細表建立後,您可以為明細表添加欄位,且可以對明細表進行關聯和分區的設定,並且可使用統一的資料標準來進列欄位設定,保障全資料域中的資料的屬性是一致的。
明細表建立配置完成後,可發布物化至計算引擎,後續在計算引擎中使用明細表進行資料分析。
建立明細表
進入智能資料建模頁面。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的 ,在下拉框中選擇對應工作空間後單擊進入資料建模。
在智能資料建模頁面的頂部功能表列,單擊維度建模,進入維度建模頁面。
建立明細表。
在維度建模頁面,滑鼠移至上方至表徵圖,單擊 。
配置明細表的基本資料。
參數項
描述
數倉分層
選擇已建立的數倉分層,僅支援選擇公用層的詳細資料層。後續使用此明細表時,明細表中的資料即儲存在數倉的這一層中。詳情請參見建立數倉分層。
業務過程
已建立完成的業務過程,詳情請參見業務過程。
業務分類
已建立的業務分類,詳情請參見業務分類。
儲存策略
明細表格儲存體資料的策略,可以選擇每日增量、每日全量等多種策略。
表名規則
選擇已配置的檢查器。用於檢測表名稱是否符合該檢查器制定的表命名規則。配置檢查器,詳情請參見配置及使用數倉分層檢查器。
表名
表的內部名稱。若配置了表名檢查器,則表的名稱需按照檢查器規則配置。
表中文名
表的中文顯示名稱。
生命週期
明細表存在的時間周期。最大可儲存36000天。
負責人
當前明細表的責任人。預設為建立明細表的使用者。
描述
明細表的描述資訊。
配置完成後,單擊儲存,儲存成功後,可在左側分類樹進行查看。
添加表欄位
模型建立成功後,您需要為模型添加表欄位。
您也可以通過FML語句建立欄位、關聯關係及分區,操作方法請參見代碼模式建模。
您可以通過快捷模式或代碼模式為表添加欄位,其中快捷模式支援從表/視圖匯入,即從計算引擎已存在的物理表或視圖匯入欄位,即在尋找已有表/視圖下拉式清單搜尋並選擇已存在的物理表或視圖進列欄位匯入。
當前僅支援從MaxCompute、Hologres、EMR Hive引擎的表或視圖匯入。
快捷模式:從表/視圖匯入
單擊快捷模式下,從表/視圖匯入後的展開。
在尋找已有表/視圖的輸入框中輸入相應名稱,即可選擇對應的表或視圖,並在已引用的表後選擇匯入表或視圖的全部欄位或部分欄位。
說明輸入名稱時支援模糊比對,即輸入關鍵字便可搜尋到所有名稱中包含關鍵字的表或視圖。
僅支援搜尋生產環境的表,不支援搜尋開發環境的表。
表徵圖表示匯入全部欄位。
表徵圖表示匯入部分欄位。
當選擇匯入部分欄位時,在彈出的視窗中,會為您展示所選表的欄位,您可選擇需要添加至模型的欄位,完成後單擊介面下方的匯入。
說明如果已匯入欄位中存在欄位顯示名稱為空白的欄位,您可根據介面提示將欄位描述填充為欄位顯示名稱。
代碼模式
代碼模式為您提供代碼輸入的操作方式,單擊代碼模式後,彈窗中會根據已配置的模型資訊自動產生建模語言,您可以在此基礎上修改模型資訊,完成後單擊下方的確定。
設定表欄位資訊
完成上述操作後,模型所需欄位即已被添加至該模型中,此時您可以根據業務需求設定模型各欄位的關聯欄位、冗餘欄位、關聯粒度/指標。
設定欄位屬性。
欄位屬性預設展示欄位名稱、類型、欄位顯示名稱、描述、主鍵、非空、度量單位、操作等基礎屬性。您可以在展示已添加欄位的右上方單擊欄位顯示設定,選擇需要展示出來的欄位屬性,並根據需要進行修改。
設定欄位的關聯欄位標準、關聯標準代碼。
用於為已添加的欄位選擇關聯的欄位標準和標準代碼,規範欄位的取值內容及範圍。
關聯欄位標準:統一規範管理含義相同但欄位名稱不同的資料,定義欄位的取值範圍、度量單位等內容。
關聯標準代碼:設定某一欄位標準可選擇資料的內容以及範圍。
設定欄位的冗餘欄位。
在已添加欄位的操作列,單擊冗餘欄位,即可設定欄位的關聯欄位。
傳統維度建模星型模型中,維度儲存在維度資料表中,通過事實表的外鍵擷取維度,目的是為了減少儲存消耗。而在維度模型設計中,為了提高下遊的查詢效率,降低資料擷取的複雜性,減少關聯表的數量,通常事實表中會冗餘常用的維度。例如,“訂單建立明細表”冗餘了“收貨地址維度資料表”中的“收貨地址”維度,包含“收貨人地址、收貨人手機號”等維度屬性。
完成設定後單擊左上方的儲存。
後續步驟
維度資料表建立完成後,您仍需為表配置欄位管理、關聯關係、分區設定等內容,並將該表發布至對應環境,詳情請參見發布模型至引擎。