全部產品
Search
文件中心

DataWorks:OpenEvent概述

更新時間:Oct 24, 2024

DataWorks的OpenEvent旨在將DataWorks的各類狀態變更情況以訊息的方式觸達到使用者,便於使用者訂閱訊息並做出個人化的響應。例如,您可以通過OpenEvent訂閱表變更,從而實現核心表的即時監控;通過OpenEvent訂閱任務變更,實現定製化開發即時任務大屏的資料監控。本文為您介紹OpenEvent支援訂閱的事件類型與配置流程。

前提條件

  • 目前OpenEvent面向DataWorks企業版使用者,華北2(北京)、華東1(杭州)、華東2(上海)、華北3(張家口)、華南1(深圳)、西南1(成都)、美國(矽谷)、美國(維吉尼亞)、德國(法蘭克福)、日本(東京)、中國(香港)、新加坡地區支援該功能。

  • OpenEvent通過EventBridge實現訊息的訂閱與消費,所以您需要先開通EventBridge產品服務,關於EventBridge產品介紹詳情請參見:什麼是事件匯流排EventBridge

許可權說明

  • 開放平台管理員租用戶系統管理員擁有開發人員後台的讀寫權限,其他租戶級角色、空間級角色僅擁有開發人員背景唯讀許可權。詳情請參見全域級模組許可權控制

  • 僅支援阿里雲主帳號或者擁有AliyunDataWorksFullAccess許可權的RAM使用者進行介面相關配置,許可權詳情請參見產品及控制台許可權控制詳情:RAM Policy

背景資訊

DataWorks已開放DataWorks側核心流程的狀態變更訊息,並支援將訊息推送至OpenEvent服務,您可通過DataWorks的OpenEvent模組對空間訊息進行推送管理,並結合事件匯流排EventBridge服務實現DataWorks事件訊息的過濾與消費管理。

相關概念

DataWorks事件訊息按照是否可在DataWorks形成流程卡點,分為普通事件擴充點事件。

  • 普通事件:您可以在本地開發程式用於接收該類型的事件訊息,以便您基於自身業務進行個人化響應。

  • 擴充點事件:相容普通事件特性與能力,此外,該類型事件還支援將本地程式註冊為DataWorks擴充程式,以此實現通過擴充程式對DataWorks中的使用者操作行為進行自訂邏輯處理並實現攔截阻斷等行為管控。

DataWorks事件訊息按照事件生效範圍,將事件劃分空間級事件租戶級事件

  • 空間級事件:空間級模組產生的事件為空白間級事件,例如資料開發模組中對節點運行產生的事件訊息、營運中心模組周期執行個體狀態變更產生的事件訊息等。

  • 租戶級事件:租戶級模組產生的事件為租戶級事件,例如管控台刪除空間所產生的事件訊息。您可通過下文各模組事件列表瞭解各個模組支援的事件訊息中,哪些為普通事件,哪些為擴充點事件,以及對應事件的發送的訊息格式。

支援訂閱的事件類型

下表為空白間級和租戶級分別支援的擴充點事件普通事件

空間級事件

資料開發

資料開發訊息格式詳情請參見:資料開發事件列表

事件類型

事件

普通事件

擴充點事件

樣本

節點相關

新增節點

image

image

建立節點發布生產

更新節點

image

image

  • 開發環境修改節點

  • 修改操作發布生產

檔案相關

  • 節點

  • 資源

  • 函數

刪除檔案

image

image

  • 在DataStudio刪除節點、資源、函數

  • 在DataStudio資源回收筒中刪除節點、資源、函數

提交檔案

image

image

在DataStudio提交某個節點、資源或函數。

發布檔案

image

image

在DataS tudio發布某個已提交節點、資源或函數。

運行代碼

image

image

在DataStudio運行節點代碼。

節點程式碼檢閱

image

image

在DataStudio團隊成員可以在代碼提交前對代碼進行評審,並提供評價和反饋。

表相關

表提交開發環境

image

image

表提交擴充點事件:例如在表管理中提交某個表。

表發布生產環境

image

image

表發布擴充點事件:例如在表管理中發布某個表。

說明

僅標準模式工作空間支援在表管理中發行資料表,因此表發布擴充點事件僅存在於標準模式下。

營運中心

營運中心訊息格式詳情請參見:營運中心事件列表

事件類型

事件

普通事件

擴充點事件

樣本

節點變更

刪除節點

image

image

  • 任務發布介面發布下線任務操作。

  • 周期任務頁面直接下線任務。

下線節點

image

image

周期任務介面下線任務。

凍結節點

image

image

周期任務介面凍結任務。

解凍節點

image

image

周期任務介面解凍任務。

節點補資料

節點補資料

image

image

  • 對周期任務進行補當前節點資料的操作。

  • 對周期任務進行補當前節點資料及下遊節點資料的操作。

  • 通過海量節點模式進行補資料。

  • 通過進階模式進行補資料。

任務狀態變更

調度任務狀態變更

image

image

如下情境會觸發調度任務狀態變更事件:

  • 調度任務下發至資料品質進行資料校正。

  • 調度任務校正分支條件。

  • 任務定時觸發、手動觸發或事件觸發。任務狀態將從等待資源變更為運行中

  • 調度任務執行完成(即執行成功或失敗)。任務狀態將從運行中變更為執行成功

  • 調度任務執行失敗後選擇重新執行任務。任務狀態將從執行失敗變更為運行中

  • 調度定時任務。任務狀態會變更為等待定時時間(DueTime或cycleTime)到來。

執行個體營運

凍結執行個體

image

image

在營運中心對某個執行個體進行以下操作。

  • 解凍執行個體。

  • 凍結執行個體。

  • 終止執行個體。

  • 重跑執行個體。

  • 置成功執行個體。

解凍執行個體

image

image

終止執行個體

image

image

重跑執行個體

  • 重跑

  • 重跑下遊

image

image

置成功執行個體

image

image

工作流程狀態變更

工作流程狀態變更

  • 補資料執行個體

  • 手動商務程序

image

image

  • 執行補資料操作時產生的工作流程狀態監控。

  • 運行手動商務程序時產生的工作流程狀態監控。

監控警示

監控警示

image

image

  • 基準警示樣本:某個基準上任務預計完成時間太晚,觸發基準警示。

  • 事件警示樣本:某個基準上任務運行失敗,觸發事件警示。

  • 規則警示樣本:建立了一個針對孤立節點的警示規則後,當工作流程中出現了孤立節點,觸發了此規則警示。

資訊安全中心

資訊安全中心訊息格式詳情請參見:資訊安全中心事件列表

事件類型

事件

普通事件

擴充點事件

樣本

申請單建立/審批

建立申請單

image

image

例如在資訊安全中心內,資料存取控制 > 許可權申請頁面對函數資源,進行許可權申請單的建立。

完成申請單

image

image

例如在資訊安全中心資料存取控制 > 許可權審批頁面,審批所有專案下的表、資源和函數的許可權。

表許可權變更

表許可權申請

image

image

例如使用者根據需求申請特定表的讀取、寫入、修改等許可權。

資料品質

資料品質訊息格式詳情請參見:資料品質事件列表

事件類型

事件

普通事件

擴充點事件

樣本

資料品質校正

校正結果反饋

image

image

使用者對校正結果的反饋。

例如,在資料治理的資料品質模組,給某個表啟用了錶行數大於0的規則,頁面上使用者可以對某次校正結果進行反饋,當使用者執行了反饋操作,系統會把使用者反饋的內容(校正規則ID、反饋內容等)發送給訂閱端。

校正完成

image

image

規則校正完畢發送規則校正結果(是否通過、樣本等資訊)

例如,在資料治理的資料品質模組,給某個表啟用了錶行數大於0的規則,觸發了規則並且規則校正完畢,會把規則校正結果(是否通過、樣本等資訊)發送給訂閱端。

租戶級事件

管控台

管控台訊息格式詳情請參見:管控台事件列表

事件類型

(點擊查看訊息格式)

事件

普通事件

擴充點事件

樣本

刪除專案空間

刪除空間前置

image

image

使用者在工作空間列表刪除某個工作空間前,將觸發該事件。同時,刪除專案空間前置事件還會觸發相應擴充程式進行流程卡點

刪除空間後置

image

image

上傳與下載

上傳與下載訊息格式詳情請參見:上傳與下載事件列表

事件類型

(單擊查看訊息格式)

事件

普通事件

擴充點事件

資料下載與上傳

資料下載前置-檔案產生

image

image

當使用者在下載中心進行資料下載操作。

在實際的資料下載操作之前,會觸發資料下載前置事件,以擷取即將進行的下載操作的相關資訊。

資料下載前置-檔案下載

image

image

資料上傳前置

image

image

應用優勢

DataWorks的OpenEvent具備以下優勢:

  • 節省營運成本:

    通過開啟DataWorks開放平台的訊息訂閱功能,您可以很方便地訂閱事件訊息。

  • 提升開發效能:

    通過在DataWorks介面上建立相關配置,您無需再進行發送訊息相關配置,僅需做好相關SDK開發的準備配置工作及訂閱訊息配置,節省繁雜的手工操作。

  • 實現個人化需求:

    DataWorks提供豐富的事件類型,您可以通過訂閱不同事件類型的訊息,快速感知業務狀態變化資訊,及時做好個人化響應和決策。