全部产品
Search
文档中心

大数据开发治理平台 DataWorks:发布模型至引擎

更新时间:Jul 08, 2024

模型创建成功后,您需将维度表、明细表、汇总表、应用表通过发布操作物化至所需物理引擎。本文为您介绍如何发布模型并查看发布记录。

前提条件

已创建所需模型。DataWorks支持如下建模方式:

发布模型

维度表、明细表、汇总表、应用表可直接发布物化至创建的数据源实例中,用于后续计算引擎进行数据开发、数据分析等。当前支持将表直接发布物化至MaxCompute、Hologres、EMR Hive、CDH、MySQL引擎。

您也可以直接将表内容导出,然后手动导入至引擎中进行使用。手动导出支持MaxCompute、Hologres、Hive引擎,导入导出方法请参见导入方式建模

  1. 发布模型。

    模型创建完成后,您可单击表详情页顶部菜单栏的发布图标,在弹出的发布对话框中配置如下参数。发布设置

    参数

    描述

    发布类型

    可选择发布当前模型为物理表视图物化视图

    说明
    • 当选择发布模型为视图时,则仅支持物化至MaxCompute引擎。

    • 物化视图(Materialized View)本质是一种预计算,即把某些耗时的操作(例如JOIN、AGGREGATE)的结果保存下来,以便在查询时直接复用,从而避免这些耗时的操作,最终达到加速查询的目的。更多介绍详情请参见物化视图操作

    • 当选择发布模型为物化视图时,则仅支持删除重建发布模式。

    工作空间

    可选择当前模型需要物化发布到哪个工作空间,该参数为可选参数。

    • 已设置建模空间:此处可选择在数仓规划 > 建模空间已添加为数据研发工作空间的工作空间。

    • 未设置建模空间:界面不显示此参数,默认物化发布到当前所在的工作空间。

    说明

    添加数据研发工作空间的操作详情请参见建模空间

    引擎类型

    选择数据存储的引擎,目前可选如下几类。

    MaxComputeEMR HiveHologresCDHMySQL

    说明
    • 当选择发布模型为视图时,则仅支持物化至MaxCompute引擎。

    • 物化视图(Materialized View)本质是一种预计算,即把某些耗时的操作(例如JOIN、AGGREGATE)的结果保存下来,以便在查询时直接复用,从而避免这些耗时的操作,最终达到加速查询的目的。更多介绍详情请参见物化视图操作

    • 当选择发布模型为物化视图时,则仅支持删除重建发布模式。

    引擎实例

    根据需求将表物化至引擎类型参数中相应类型的数据存储引擎。

    生效环境

    可选择发布至开发生产环境。

    说明
    • 如果您使用的是简单模式的DataWorks工作空间,则仅支持发布表到生产环境。

    • 如果您使用的是标准模式的DataWorks工作空间,则支持发布表到生产环境或开发环境。

    发布模式

    • 增量发布:选择该模式,发布时仅会将目标模型此次变更的内容发布至对应引擎。

    • 删除重建:选择该模式,发布时会将对应引擎中之前已发布的该模型删除,删除后再重新创建此次发布的模型。

    说明
    • 如果您的模型是首次发布,则无论选择哪种模式,系统均会在对应的引擎中新增该模型。

    • 当选择发布模型为物化视图时,则仅支持使用删除重建模式。

    独享资源组

    选择模型表物化为E-MapReduceCDH的物理表时,所使用的独享调度资源组。

    说明

    发布备注

    描述本次发布的相关内容。

    DDL

    DataWorks根据模型配置自动为您生成发布为物化视图的SQL语句。由于SELECT语句必须执行成功此处发布才会成功,因此您需手动修改AS SELECT语句为可执行的SQL语句。

    说明
    • 仅当选择发布模型为物化视图时,需配置该参数。

    • 物化视图的DDL操作,详情请参见物化视图操作

  2. 配置完成后单击发布,系统会将模型发布至对应的开发生产环境,并物化至所选引擎。

    说明
    • 您可在发布对话框查看当前发布进度。

    • 您可重复执行发布操作将模型发布至不同的环境中。

  3. 可选:发布完成后,您可单击表详情页顶部菜单栏的日志图标,查看最近一次发布操作的发布结果以及发布的详细信息。

    其中,发布状态包含发布成功发布失败发布中三种状态。发布成功的日志如下图所示。发布日志

    说明
    • 当系统提示deploy plan execute success时,也表示发布成功。

    • 发布状态发布失败时,您需要根据具体的报错信息尽快定位原因并处理。

    • 发布日志对话框显示暂无发布日志,表示模型表从未被发布过。

查看发布记录

模型发布成功后,您可进入模型的编辑页面,单击右侧导航栏的发布记录,查看模型历史发布版本的详情。image

后续步骤

模型发布至目标引擎后,您可进入DataWorks的数据开发页面,基于该汇总表进行相关的数据开发操作。数据开发的功能介绍,详情请参见数据开发界面功能介绍