使用DataWorks进行数据建模时,数仓架构师或者模型小组成员可以在数仓规划页面对数据分层、业务分类、数据域、业务过程、数据集市、主题域进行设计。完成设计后,模型设计师在建模过程中可以依赖数仓规划中的数据分层、业务分类、数据域、业务过程等对所建模型进行分层化域管理。
数仓分层
您可以结合业务场景、数据场景综合考虑设计数仓的数据分层,DataWorks为您默认创建业界通用的五层数仓分层:
数据引入层 ODS(Operational Data Store)
明细数据层 DWD(Data Warehouse Detail)
汇总数据层 DWS(Data Warehouse Summary)
应用数据层 ADS(Application Data Service)
公共维度层 DIM(Dimension)
您也可以根据业务需求创建其他分层数据层,创建数据分层的操作请参见创建数仓分层。
分层归属
DataWorks为您提供了贴源层、公共层、应用层等分层归属,您可以将不同功能作用的分层挂载至相应归属,通过层级化结构呈现输出。下图以默认的五层数据分层为例,数据分层规划完成后,后续的表数据存储可根据规划分别存储至不同的数据分层中。
贴源层:用于数据库、日志、消息等基础源数据的引入。源数据经过一系列ETL操作进入贴源层,该层级只能挂载贴源表。
公共层:用于加工、整合贴源层输入的公共数据,建立统一的指标维度,构建可复用面向分析和统计的明细事实数据和汇总数据。该层级可挂载明细表、维度表、汇总表。
应用层:基于实际应用需求,获取公共层加工整合后的数据,面向具体应用场景或指定产品进行的个性化数据统计。该层级可以挂载应用表、维度表。
业务分类
当企业业务比较复杂,不同类型业务彼此间需要共享数据域,但是又希望能在模型设计和应用过程中快速定位本业务的数据时,您可结合真实业务情况,规划不同的业务分类,在后续建模的维度表和明细表中,将其关联到对应的业务分类中。创建业务分类的操作可参见业务分类。
数据域与业务过程
数据域与业务过程通常位于公共层,根据业务类别、数据来源、数据用途等多个维度,对公共层数据进行区域及区域下业务活动进行划分。
数据集市与主题域
维度管理
维度管理用于标准化定义维度,帮助您对数据建模过程中产生的维度进行统一建设和管理,保证维度唯一,避免重复建设。后续创建维度表时可关联相应维度,关联后即可通过不同维度分析呈现不同视角的业务数据状况。详情请参见创建概念模型:维度。
建模空间
当您所需要管理多个DataWorks工作空间且需要复用一套数仓规划时,面对跨多个工作空间的复杂数据体系,可以通过设计空间来共享一套数据建模工具,针对整个数据体系进行统一的数仓规划、维度建模及指标定义等工作。
DataWorks智能数据建模在进行跨多个工作空间数据的统一建模情况下,为您提供了模型设计工作空间与数据研发工作空间的概念,通过建模空间功能实现模型跨工作空间应用。
建模空间的详细介绍请参见建模空间。