全部产品
Search
文档中心

大数据开发治理平台 DataWorks:系统管理

更新时间:Nov 13, 2024

用于自定义企业在数据仓库模型设计过程中需要的物理表创建管控策略、代码生成规则等内容。策略启用后,将严格按照此处配置的管控策略管控相关操作,保障模型创建的规范性及引擎DDL显示符合您的业务需要。本文为您介绍如何配置系统管理策略。

背景信息

  • 建表策略管理:是否允许用户在没有数据模型的情况下,可在数据开发(DataStudio)直接创建MaxCompute物理表。策略启用后,凡是未通过智能数据建模发布,直接在数据开发(DataStudio)创建或修改的MaxCompute物理表,在执行提交、发布操作时均会触发管控限制。

  • 代码生成策略管理:用于自定义DDL语句中表Comment及字段Comment字段,与可视化建模界面里中文名和描述的映射关系。策略启用后,维度建模 > 代码模式维度建模 > 导出、数据地图中已发布的模型详情,将按照定义的对应关系显示相关内容。

    代码模式与可视化建模方式相关参数的对应关系如下。

    代码模式

    可视化建模

    Comment(表)

    可对应基础信息中的表中文名描述

    Comment(字段)

    可对应字段管理中的字段显示名描述

  • 发布策略管理:用于配置模型发布时可选择的发布策略。

使用限制

  • 建表策略管理:

    • 目前仅支持对MaxCompute物理表的创建进行管控,且仅当创建的表执行提交、发布操作时才会触发管控限制。

    • 对于通过API创建的表不进行管控。

  • 代码生成策略管理:当前仅支持自定义MaxCompute、Hive、MySQL、Hologres引擎DDL语句中Comment字段的含义。

注意事项

建表策略管理:在DataWorks智能数据建模开启建表策略的工作空间(包含建模空间及其纳管的所有研发空间)下,使用数据开发(DataStudio)新建表或修改表时,如不符合所配置的建表策略,则创建的表执行提交、发布操作时会受阻。示例相关检查器提示如下。界面提示处理方案:

  1. 查看建表策略。

    通过如下任意方式查看导致建表受阻的策略。后续可根据建表策略重新建表。

    方式

    操作

    方式一

    鼠标悬停至不通过,查看受阻原因,并按提示指引查看当前工作空间的建表策略。

    方式二

    进入智能数据建模 > 数仓规划 > 系统管理,查看当前工作空间的建表策略。若当前工作空间被指定为其他建模空间的研发空间,您需进入建模空间,查看符合要求的建表策略。

  2. 在智能数据建模中先建模再将其发布为物理表。

    如您需继续提交、发布当前名称的表,则需先创建该名称的模型,模型创建成功后,可将该模型发布为物理表。

    说明
    • 创建模型,详情请参见维度建模

    • 若您的物理引擎中已存在该物理表,修改表信息时也会触发建表策略。该场景,您需使用逆向建模:物理表反向建模功能,先将物理表生成模型,再编辑模型信息并重新发布为所需物理表。

进入系统管理

  1. 进入智能数据建模页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据开发与治理 > 数据建模,在下拉框中选择对应工作空间后单击进入数据建模

  2. 智能数据建模页面的顶部菜单栏,单击数仓规划,进入数仓分层

  3. 在左侧导航栏,单击系统管理,进入系统管理

    在该页面,您可进行如下功能的管控:

建表策略管理

配置并开启建表策略

建表策略管理页签,您可通过可视化方式配置数据开发(DataStudio)建表的相关限制策略,步骤如下图。建表策略管理策略说明如下:

  • 策略项

    您可配置不允许用户在数据开发(DataStudio)中直接创建所有物理表,或直接创建指定格式的物理表。

    该策略启用后,凡是未通过智能数据建模发布生成的物理表,在执行提交、发布操作时均会触发建表策略检测。若触发检测导致建表受阻,您需进入数据建模,创建模型,并将其发布为所需名称的物理表。

  • 策略详情说明

    配置项

    描述

    规则

    用于限制在数据开发(DataStudio)中创建物理表时的表命名规则。可设置表名开头是否包含相应格式的内容。

    说明

    当前仅适用于设置表头规则。

    用于创建规则组。图示序号3为一组规则配置,您可根据业务需要添加多组规则,生成规则组。

    多个规则的逻辑生效方式

    您可选择使用,定义规则的逻辑生效方式。

    • :只需满足多个规则的其中一个即可。

    • :多个规则均需满足。

  • 策略生效说明

    建表策略配置完成后,您需手动开启目标策略,开启后,该策略才会在数据开发(DataStudio)生效。

场景示例

在数据开发(DataStudio)直接创建表名开头包含dimdws的表后,执行提交、发布操作时会报错。该类格式的表需进入智能数据建模 > 维度建模,通过创建模型并发布为物理表方式生成。

建表策略配置如下。示例

代码生成策略管理

配置代码生成策略

在系统管理中,您可自定义DDL语句中表及字段的Comment,与可视化建模界面里中文名与描述的对应关系。代码生成策略策略启用后,如下内容将按照系统管理的配置内容展示:

  • 代码模式建模:使用相关引擎DDL生成的模型语句中,Comment字段将采用系统管理中定义的内容展示。

  • 导出模型:将当前模型导出为指定引擎DDL语句时,Comment字段将采用系统管理中定义的内容展示。

  • 表详情:数据地图的表详情页中,在明细信息页签的字段信息生成DDL语句时,Comment字段将采用系统管理中定义的内容展示。

场景示例

示例模型的表基本信息及字段基本信息如下表,代码生成策略配置为基础信息-表中文名字段管理-字段显示名表信息维度建模中相关功能的展示结果如下:

  • 代码模式

    在模型编辑页面单击代码模式,选择引擎DDL语句后的结果展示如下。代码代码展示

  • 导出模型

    在模型编辑页面,导出指定引擎DDL语句的结果展示如下。导出模型

发布策略管理

在系统管理中,您可自定义模型的发布策略。策略启用后,发布模型时可根据策略配置选择相应的发布模式。

image

  • 可选项:发布模型时可选择的所有发布模式,支持配置多种模式。

  • 默认选中:发布模型时,发布模式参数的默认选中项,必须为可选项中的已选项。

发布模式介绍如下:

  • 增量发布:发布时仅会将目标模型此次变更的内容发布至对应引擎。

  • 删除重建:发布时会将对应引擎中之前已发布的物理表删除,删除后再重新创建此次发布模型对应的物理表。

发布模型的更多介绍,请参见发布模型至引擎