全部產品
Search
文件中心

DataWorks:OpenEvent概述

更新時間:Jun 19, 2024

DataWorks的OpenEvent旨在將DataWorks的各類狀態變更情況以訊息的方式觸達到使用者,便於使用者訂閱訊息並做出個人化的響應。例如,您可以通過OpenEvent訂閱表變更,從而實現核心表的即時監控;通過OpenEvent訂閱任務變更,實現定製化開發即時任務大屏的資料監控。本文為您介紹OpenEvent支援訂閱的事件類型與配置流程。

許可權說明

  • 開放平台管理員租用戶系統管理員擁有開發人員後台的讀寫權限,其他租戶級角色、空間級角色僅擁有開發人員背景唯讀許可權。詳情請參見全域級模組許可權控制

  • 僅支援阿里雲主帳號或者擁有AliyunDataWorksFullAccess許可權的RAM使用者進行介面相關配置,許可權詳情請參見產品及控制台許可權控制詳情:RAM Policy

注意事項

  • 目前OpenEvent面向DataWorks企業版使用者公測,華北2(北京)、華東1(杭州)、華南1(深圳)、華東2(上海)、華北3(張家口)、華南1(深圳)、西南1(成都)、美國(矽谷)、美國(維吉尼亞)、德國(法蘭克福)、日本(東京)、中國(香港)、新加坡地區支援該功能。

  • OpenEvent通過EventBridge實現訊息的訂閱與消費,所以您需要先開通EventBridge產品服務,關於EventBridge產品介紹詳情請參見:什麼是事件匯流排EventBridge

  • 擴充點事件分為租戶級和空間級,註冊擴充程式時,僅支援選擇某一類型的擴充點事件。DataWorks支援的擴充點事件所屬的類型,詳情請參見支援的擴充點事件列表

支援訂閱的事件類型

DataWorks支援訂閱的事件從事件類型上可以分為普通事件擴充點事件

  • 普通事件:支援使用者訂閱此類事件的訊息。

  • 擴充點事件:使用者訂閱此類事件的訊息後,還可聯合DataWorks的擴充程式功能,在收到事件訊息後實現自訂響應。

DataWorks當前支援訂閱的事件覆蓋了營運中心、DataStudio和資料治理三個功能模組中的事件,詳情如下表所示。

應用範圍

所屬模組

事件細分

事件描述與類型

事件樣本

空間級

營運中心

執行個體操作事件

  • 描述:在營運中心對執行個體進行凍結、解凍等操作的事件。

  • 類型:執行個體操作變更事件為普通事件,您可以訂閱此類事件訊息,獲知事件狀態的即時變化情況。

例如,在營運中心對某個執行個體進行以下操作。

  • 解凍執行個體。

  • 凍結執行個體。

  • 終止執行個體。

  • 重跑執行個體。

  • 置成功執行個體。

調度任務狀態變更事件

  • 描述:任務在營運中心運行時,調度任務狀態發生變更而觸發的事件。

  • 類型:調度任務狀態變更事件為普通事件,您可以訂閱此類事件訊息,擷取調度任務狀態的即時變更情況。

如下情境會觸發調度任務狀態變更事件:

  • 調度任務下發至資料品質進行資料校正。

  • 調度任務校正分支條件。

  • 任務定時觸發、手動觸發或事件觸發。任務狀態將從等待資源變更為運行中

  • 調度任務執行完成(即執行成功或失敗)。任務狀態將從運行中變更為執行成功

  • 調度任務執行失敗後選擇重新執行任務。任務狀態將從執行失敗變更為運行中

  • 調度定時任務。任務狀態會變更為等待定時時間(DueTime或cycleTime)到來。

工作流程狀態變更事件

  • 描述:任務在營運中心運行時,工作流程狀態發生變更而觸發的事件。

  • 類型:工作流程狀態變更事件為普通事件,您可訂閱此類事件訊息,獲知事件狀態的即時變化情況。

  • 執行補資料操作時產生的工作流程狀態監控。

  • 運行手動商務程序時產生的工作流程狀態監控。

節點變更事件

在營運中心(生產環境)的節點變更事件,包括普通事件擴充點事件

  • 普通事件:您可以在本地開發程式用於接收該類型的事件訊息,以便您基於自身業務進行個人化響應。

    • 新增節時間點事件

    • 更新節時間點事件

    • 刪除節時間點事件

  • 擴充點事件:相容普通事件特性,此外,該類型事件還支援將本地程式註冊為DataWorks擴充程式,實現擴充程式對擴充點事件的自訂邏輯處理與流程管控。

    • 下線節點前置事件

    • 凍結節點前置事件

    • 解凍節點前置事件

說明

此處節點特指生產營運中心周期任務列表中的任務。

補資料操作事件

  • 描述:在營運中心(生產環境)的節點進行補資料操作觸發的事件。

  • 類型:屬於擴充點事件

事件樣本如下。

  • 對周期任務進行補當前節點的操作。

  • 對周期任務進行補當前節點及下遊節點的操作。

  • 通過海量節點模式進行補資料。

  • 通過進階模式進行補資料。

營運中心警示事件

  • 描述:任務在營運中心執行過程中,出現異常情況時會觸發警示事件

  • 類型:屬於普通事件

事件例如下。

  • 任務運行失敗。

  • 任務執行逾時。

  • 資源不足。

監控警示

監控警示事件

  • 描述:在營運中心中,觸發DataWorks的警示機制的事件。

  • 類型:屬於普通事件

事件樣本如下。

  • 基準警示樣本:某個基準上任務預計完成時間太晚,觸發基準警示。

  • 事件警示樣本:某個基準上任務運行失敗,觸發事件警示。

  • 規則警示樣本:建立了一個針對孤立節點的警示規則後,當工作流程中出現了孤立節點,觸發了此規則警示。

DataStudio

檔案變更事件

  • 描述:在DataStudio中,檔案(節點、資源或函數)出現狀態變更時觸發的事件。

  • 類型:屬於擴充點事件,您可以訂閱此類事件訊息,並聯合擴充程式的功能,訂閱此類事件後實現自訂響應。

事件樣本如下。

  • 檔案提交擴充點事件:

    例如提交某個節點、資源或函數。

  • 檔案發布擴充點事件:

    例如發布某個節點、資源或函數。

  • 節點運行擴充點事件:

    例如運行節點代碼。

  • 檔案刪除擴充點事件:

    例如刪除某個節點、資源、函數。

表變更事件

  • 描述:在DataStudio的表管理中,表狀態變更時觸發的事件。

  • 類型:屬於擴充點事件,您可以訂閱此類事件訊息,並聯合擴充程式的功能,訂閱此類事件後實現自訂響應。

事件樣本如下。

  • 表提交擴充點事件:例如在表管理中提交某個表。

  • 表發布擴充點事件:例如在表管理中發布某個表。

    說明

    僅標準模式工作空間支援在表管理中發行資料表,因此表發布擴充點事件僅存在於標準模式下。

程式碼檢閱事件

  • 描述:在DataStudio中,程式碼檢閱可以提高代碼的品質和可維護性。

  • 類型:屬於普通事件

例如,團隊成員可以在代碼提交前對代碼進行評審,並提供評價和反饋。

資訊安全中心

核准中心事件

  • 描述:在資料治理模組中,建立申請單完成申請單以及表許可權申請觸發的事件。

  • 類型:屬於擴充點事件,您可以訂閱此類事件訊息,獲知事件狀態的即時變化情況。

事件樣本如下。

  • 建立申請單事件:例如在資料地圖中,在許可權管理頁面單擊申請函數和資源許可權,進行申請單的建立。

  • 完成申請單事件:例如在資料地圖中,當訪問帳號為管理員時,在許可權管理頁面單擊待我審批選項卡,審批所有專案下的表、資源和函數的許可權。

  • 表許可權申請事件:例如使用者根據需求申請特定表的讀取、寫入、修改等許可權。

資料品質

資料品質校正結果反饋事件

  • 描述:在資料治理模組中,啟用了資料品質監控規則後,發送監控規則的校正結果。

  • 類型:屬於普通事件,您可以訂閱此類事件訊息,獲知事件狀態的即時變化情況。

例如,在資料治理的資料品質模組,給某個表啟用了錶行數大於0的規則,頁面上使用者可以對某次校正結果進行反饋,當使用者執行了反饋操作,系統會把使用者反饋的內容(校正規則ID、反饋內容等)發送給訂閱端。

資料品質校正完成事件

  • 描述:在資料治理模組中,觸發某個資料品質校正規則之後,發送校正完成後的狀態。

  • 類型:屬於普通事件,您可以訂閱此類事件訊息,獲知事件狀態的即時變化情況。

例如,在資料治理的資料品質模組,給某個表啟用了錶行數大於0的規則,觸發了規則並且規則校正完畢,會把規則校正結果(是否通過、樣本等資訊)發送給訂閱端。

租戶級

管理主控台

刪除專案空間前置事件

  • 描述:在工作空間列表頁面,使用者可根據需求對工作空間進行刪除操作。

  • 類型:屬於擴充點事件

例如,使用者在工作空間列表刪除某個工作空間前,將觸發該事件。同時,刪除專案空間前置事件還會觸發相應擴充程式進行流程卡點。

刪除專案空間後置事件

  • 描述:在工作空間列表頁面,使用者可根據需求對工作空間進行刪除操作。

  • 類型:屬於普通事件

例如,使用者在工作空間列表刪除某個工作空間後,觸發該事件。

下載中心

資料下載前置事件

  • 描述:在實際的資料下載操作之前,會觸發資料下載前置事件,以擷取即將進行的下載操作的相關資訊。

  • 類型:資料擴充點事件

例如,當使用者在下載中心進行資料下載操作。

說明

由於網路時延問題,OpenEvent的訊息發送可能存在一定延遲。

配置流程

瞭解上述原理後,您可根據實際情況規劃並應用DataWorks的OpenEvent功能,實現關鍵事件的訊息訂閱,應用流程與配置要點如下。

  1. 事件匯流排 EventBridge 控制台開通事件匯流排EventBridge,建立自訂匯流排。

  2. 在DataWorks端添加事件分發通道。

  3. 事件匯流排 EventBridge 控制台配置事件匯流排。

  4. 事件匯流排 EventBridge 控制台發布事件,詳情請參見發布事件

應用優勢

DataWorks的OpenEvent具備以下優勢:

  • 節省營運成本:

    通過開啟DataWorks開放平台的訊息訂閱功能,您可以很方便的訂閱事件訊息。

  • 提升開發效能:

    通過在DataWorks介面上建立相關配置,您無需再進行發送訊息相關配置,僅需做好相關SDK開發的準備配置工作及訂閱訊息配置,節省繁雜的手工操作。

  • 實現個人化需求:

    DataWorks提供豐富的事件類型,您可以通過訂閱不同事件類型的訊息,快速感知業務狀態變化資訊,及時做好個人化響應和決策。