全部产品
Search
文档中心

大数据开发治理平台 DataWorks:应用示例:数据开发过程触发事件检查

更新时间:Jan 18, 2024

在DataWorks开放平台,成功注册、上线并启用扩展程序后,在该扩展程序所生效的工作空间中,使用页面部分功能(即触发扩展点事件)时,DataWorks会将事件消息发送至您的扩展程序,根据扩展程序返回的结果,您可以决定该操作是否生效。本文将为您介绍数据开发DataStudio中支持的扩展点事件,以及使用扩展点触发扩展程序的操作过程。

前提条件

背景信息

  • 启动扩展程序。

    您可以在工作空间页面查看扩展程序,并控制是否需要在当前工作空间启用该扩展程序校验。扩展程序

  • 数据开发支持的扩展点事件。

    DataWorks的数据开发模块,支持扩展点事件包括文件发布前置事件、文件提交前置事件、表提交前置事件等。扩展点事件的概念和详细列表请参见支持的扩展点事件列表

  • DataWorks支持对扩展点事件进行消息通知,通过扩展程序来自动化校验并响应,扩展点触发过程详情请参见支持的扩展点事件

使用限制

扩展程序启用后,实际在数据开发过程中,扩展事件被触发后的消息通知与响应有以下限制。

  • 系统内置扩展程序启用后,暂时仅支持对ODPS SQL类的节点生效。

    即启用后,仅ODPS SQL类节点中相应扩展点事件被触发时,流程会被阻断,通过内置扩展程序对对应的逻辑进行校验并返回校验结果。非ODPS SQL节点对应的事件被触发后,流程会被阻断,但是内置扩展程序不会校验逻辑是不是符合预期,直接返回校验成功。

  • 扩展点事件中,表发布前置事件表提交前置事件暂时仅支持MaxCompute表提交与发布时触发并进行检测。

  • 有内部节点的组合类节点,例如:机器学习(PAI)节点do-while节点for-each节点在触发检查时,需要内部节点都检查通过才可继续进行下一步操作。

能力概述

数据开发模块支持您的本地服务接收以下扩展点事件的消息。此外,还支持将本地程序注册为DataWorks扩展程序,通过扩展程序接收扩展点事件消息。实现扩展程序对扩展点事件的自定义逻辑处理,并通过回调UpdateIDEEventResultAPI将处理结果返回至平台,实现DataWorks上的流程管控。支持的扩展点如下:

  • 文件操作:运行文件、提交文件、发布文件、删除文件。

  • 表操作:提交表、发布表。

    说明

    数据开发表操作扩展事件仅支持对MaxCompute表的触发与检测。

支持的扩展点事件

DataWorks数据开发中,目前支持对以下的扩展点事件进行消息通知,通过扩展程序实现校验并响应。

DataStudio-运行文件代码运行

DataStudio-提交文件文件提交

DataStudio-发布文件文件发布

DataStudio-删除文件文件删除

DataStudio-提交表表提交

DataStudio-发布表表发布

相关文档