全部產品
Search
文件中心

DataWorks:附錄:訊息格式

更新時間:Jun 25, 2024

本文介紹DataWorks開放訊息的訊息結構、不同類型事件的訊息格式及各欄位含義,協助您快速擷取和感知事件訊息的狀態變更資訊。

注意事項

DataWorks發送的核心訊息內容您可參照訊息實體格式進行查看。通過EventBridge發送的訊息,會在訊息實體格式基礎上增加其他訊息內容,EventBridge完整訊息格式樣本,請參見附錄一:發送給EventBridge的訊息格式

訊息事件類型列表

事件類型為事件訊息中type的取值,不同類型的事件對應的息實體格式存在差異。事件類型列表如下。

說明

通過Function Compute方式部署的擴充程式目前僅支援處理資料下載前置事件

事件類型

事件描述

對應的訊息實體格式(data)

應用範圍

dataworks:InstanceStatusChanges:InstanceStatusChanges

調度任務狀態變更

訊息實體格式:調度任務狀態變更事件

空間級

dataworks:InstanceChange:UnfreezeInstance

解凍執行個體

訊息實體格式:執行個體操作事件(凍結、解凍、終止、重跑、置成功)

dataworks:InstanceChange:FreezeInstance

凍結執行個體

dataworks:InstanceChange:KillInstance

終止執行個體

dataworks:InstanceChange:RerunInstance

重跑執行個體

dataworks:InstanceChange:SetInstanceSuccess

置成功執行個體

dataworks:FileChange:CommitFile

提交檔案

訊息實體格式:檔案變更事件(提交、發布、運行、刪除、程式碼檢閱)

dataworks:FileChange:DeployFile

發布檔案

dataworks:FileChange:RunFile

運行檔案

dataworks:FileChange:DeleteFile

刪除檔案

dataworks:FileChange:ReviewFile

程式碼檢閱

dataworks:TableChange:CommitTable

提交表至開發環境

訊息實體格式:表變更事件(提交表至開發環境、發行資料表至生產環境)

dataworks:TableChange:DeployTable

發行資料表至生產環境

dataworks:NodeChange:NodeChangeCreated

新增節點

訊息實體格式:節點變更事件(新增、修改、刪除、凍結、解凍、下線)

dataworks:NodeChange:NodeChangeUpdated

修改節點

dataworks:NodeChange:NodeChangeDeleted

刪除節點

dataworks:NodeChange:FreezeNode

凍結節點

dataworks:NodeChange:UnFreezeNode

解凍節點

dataworks:NodeChange:UndeployNode

下線節點

dataworks:BackfillDataOperate:BackfillData

補資料

訊息實體格式:補資料操作事件

dataworks:ApprovalChange:ApprovalChangeCreated

建立審批單

訊息實體格式:核准中心(建立、完成審批單,表許可權申請前置)

dataworks:ApprovalChange:ApprovalChangeFinished

完成審批單

dataworks:ApprovalChange:ApprovalChangeBeforeCreate

表許可權申請前置

dataworks:MonitorAlert:WorkbenchMonitorAlert

營運中心警示

訊息實體格式:營運中心警示(基準、事件、任務規則、資源群組規則)

dataworks:DagStatusChanges:DagStatusChanges

工作流程狀態變更

訊息實體格式:工作流程狀態變更事件

dataworks:DqcCheck:DqcCheckFeedbackEvent

資料品質校正結果反饋

訊息實體格式:資料品質校正結果反饋事件

dataworks:DqcCheck:DqcCheckFinishedEvent

資料品質校正完成

訊息實體格式:資料品質校正完成事件

dataworks:ProjectChange:DeleteProject

租戶刪除專案空間前置事件

訊息實體格式:租戶刪除專案空間前置事件

租戶級

dataworks:ProjectChange:ProjectDeleted

租戶刪除專案空間後置事件

訊息實體格式:租戶刪除專案空間後置事件

dataworks:ResourcesDownload:DownloadResources

資料下載前置事件-檔案產生

訊息實體格式:資料下載前置事件-檔案產生

dataworks:ResourcesDownload:DownloadResourcesExecute

資料下載前置事件-檔案下載

訊息實體格式:資料下載前置事件-檔案下載

dataworks:ResourcesUpload:UploadDataToTable

資料上傳前置事件

訊息實體格式:資料上傳前置事件

訊息實體格式:調度任務狀態變更事件

調度任務狀態變更事件的訊息實體格式(即事件訊息中data欄位的內容)樣本如下。

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "beginWaitTimeTime": 1652700576000,
    "dagId": 446555330,
    "dagType": 0,
    "taskType": 0,
    "modifyTime": 1652700577000,
    "createTime": 1652543233000,
    "appId": 3*****2,
    "tenantId": 235454***432001,
    "opCode": 31,
    "flowId": 1,
    "nodeId": 1002698219,
    "beginWaitResTime": 1652700577000,
    "taskId": 4532688169,
    "status": 3
}
  }

重要欄位說明如下表。

說明

上述data內容僅為樣本,下表所列參數為調度任務狀態變更事件中data的常用參數介紹。

欄位名稱

欄位類型

說明

finishTime

Long

調度任務執行個體運行完成的具體時間。

beginWaitTimeTime

Long

調度任務執行個體開始等待啟動並執行具體時間。

beginRunningTime

Long

調度任務執行個體開始啟動並執行具體時間。

dagId

Long

根據DagId可擷取Dag詳情。

dagType

Integer

Dag的類型,取值如下:

  • 0:周期調度任務

  • 1:手動任務

  • 2:煙霧測試 (Smoke Test)

  • 3:補資料

  • 4:臨時商務程序

  • 5:手動商務程序

taskType

Integer

任務執行個體的調度類型,取值如下:

  • 0:NORMAL,正常調度任務。該任務會被日常調度。

  • 1:MANUAL,手動任務。該任務不會被日常調度。

  • 2:PAUSE,凍結任務。該任務被日常調度,但啟動調度時直接被置為失敗狀態。

  • 3:SKIP,空跑任務。該任務被日常調度,但啟動調度時直接被置為成功狀態。

  • 4:SKIP_UNCHOOSE,臨時工作流程中未選擇的任務,僅存在於臨時工作流程中,啟動調度時直接被置為成功狀態。

  • 5:SKIP_CYCLE,未到運行周期的周或月任務。該任務被日常調度,但啟動調度時直接被置為成功狀態。

  • 6:CONDITION_UNCHOOSE,上遊執行個體中有分支(IF)節點,但是該下遊節點未被分支節點選中,直接置為空白跑任務。

  • 7:REALTIME_DEPRECATED,即時產生的已經到期的周期執行個體,該類型任務直接被置為成功狀態。

modifyTime

Long

任務執行個體最近一次的修改時間。

createTime

Long

任務執行個體的建立時間。

appId

Long

工作空間的ID。您可以調用ListProjects查看空間ID資訊。

tenantId

Long

調度任務執行個體所在工作空間的租戶ID。

opCode

Integer

調度任務執行個體的作業碼。該欄位可忽略。

flowId

Long

商務程序的ID。

  • 周期調度任務執行個體:商務程序ID預設為1。

  • 手動商務程序和內部工作流程的調度任務執行個體:為實際的商務程序ID。

nodeId

Long

調度任務執行個體對應的節點ID。

beginWaitResTime

Long

調度任務執行個體開始等待資源的具體時間。

taskId

Long

調度任務執行個體的ID。

status

Integer

任務的狀態,取值如下:

  • 0:未運行。

  • 2:等待定時時間dueTimecycleTime到來。

  • 3:等待資源。

  • 4:運行中。

  • 7:下發給資料品質進行資料校檢。

  • 8:進行中分支條件校檢。

  • 5:執行失敗。

  • 6:執行成功。

訊息實體格式:執行個體操作事件(凍結、解凍、終止、重跑、置成功)

執行個體操作事件的訊息實體格式(即事件訊息中data欄位的內容)樣本如下。

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "operator": "182293110403****",
    "projectId": 123488,
    "projectType": "PROD",
    "taskIds":
    [
        523536569736
    ],
    "tenantId": 280749521950784
}

欄位說明如下表。

欄位名稱

欄位類型

說明

operator

String

操作執行個體(凍結、解凍、終止、重跑、置成功等操作)使用者的UID。

projectType

String

運行環境。

  • PROD:生產環境

  • DEV:開發環境

taskIds

List<Long>

執行個體的ID集合。

projectId

Long

DataWorks專案空間ID。

tenantId

Long

執行個體所在工作空間的租戶ID。

訊息實體格式:檔案變更事件(提交、發布、運行、刪除、程式碼檢閱)

  • 檔案提交、發布事件的訊息實體格式(即事件訊息中data欄位的內容)樣本如下。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "operator": "**************",  //本次操作人
        "projectId": 12*****56,
        "tenantId": 12*****56,
        "nodeId": 123456,    //節點ID
        "fileType": 123456, //檔案類型
        "fileName": "********",
        "fileOwner": "****************",         //檔案責任人
        "extensionBizId": "***************",    //
        "changeType": "UPDATE", //NEW UPDATE DELETE
        "fileCreateTime": "2021-01-15 14:03:02",
        "fileId": 123456,
        "fileVersion": 3,
        "dataSourceName":"odps_source"
      }

    欄位說明如下表。

    欄位名稱

    欄位類型

    說明

    operator

    String

    提交或發布檔案的使用者UID。

    projectId

    Long

    檔案所屬專案空間的ID。

    tenantId

    Long

    租戶ID。

    nodeId

    Long

    調度節點ID。

    fileType

    Long

    檔案的代碼類型,常用的代碼類型包括:

    • 6(Shell)

    • 10(ODPS SQL)

    • 11(ODPS MR)

    • 23(Data Integration)

    • 24(ODPS Script)

    • 99(虛擬節點)

    • 221(PyODPS 2)

    • 225(ODPS Spark)

    • 227(EMR Hive)

    • 228(EMR Spark)

    • 229(EMR Spark SQL)

    • 230(EMR MR)

    • 239(OSS對象檢查)

    • 257(EMR Shell)

    • 258(EMR Spark Shell)

    • 259(EMR Presto)

    • 260(EMR Impala)

    • 900(即時同步)

    • 1089(跨租戶節點)

    • 1091(Hologres開發)

    • 1093(Hologres SQL)

    • 1100(賦值節點)

    • 1221(PyODPS 3)

    fileName

    String

    檔案名稱。

    fileOwner

    String

    檔案所有者。

    extensionBizId

    String

    擴充程式卡點流程ID。

    changeType

    String

    檔案的變更類型:

    • UPDATE:更新檔案。

    • DELETE:刪除檔案。

    • CREATE:建立檔案。

    fileCreateTime

    String

    檔案的建立時間,格式為yyyy-MM-dd HH:mm:ss

    fileId

    Long

    檔案ID。

    fileVersion

    Long

    檔案版本。

    dataSourceName

    String

    資料來源名稱。

  • 檔案刪除、運行事件的訊息實體格式(即事件訊息中data欄位的內容)樣本如下。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "operator": "**************",  //本次操作人
        "projectId": 123456,
        "tenantId": 123456,
        "nodeId": 123456,    //節點ID
        "fileType": 123456, //檔案類型
        "fileName": "********",
        "fileOwner": "****************",         //檔案責任人
        "extensionBizId": "***************",    //
        "fileCreateTime": "2021-01-15 14:03:02",
        "fileId": 123456
      }

    欄位說明如下表。

    欄位名稱

    欄位類型

    說明

    operator

    String

    刪除或運行檔案的使用者UID。

    projectId

    Long

    檔案所屬專案空間的ID。

    tenantId

    Long

    租戶ID。

    nodeId

    Long

    調度節點ID。

    fileType

    Long

    檔案的代碼類型。常用的代碼類型包括:

    • 6(Shell)

    • 10(ODPS SQL)

    • 11(ODPS MR)

    • 23(Data Integration)

    • 24(ODPS Script)

    • 99(虛擬節點)

    • 221(PyODPS 2)

    • 225(ODPS Spark)

    • 227(EMR Hive)

    • 228(EMR Spark)

    • 229(EMR Spark SQL)

    • 230(EMR MR)

    • 239(OSS對象檢查)

    • 257(EMR Shell)

    • 258(EMR Spark Shell)

    • 259(EMR Presto)

    • 260(EMR Impala)

    • 900(即時同步)

    • 1089(跨租戶節點)

    • 1091(Hologres開發)

    • 1093(Hologres SQL)

    • 1100(賦值節點)

    • 1221(PyODPS 3)

    fileName

    String

    檔案名稱。

    fileOwner

    String

    檔案所有者。

    extensionBizId

    String

    擴充程式卡點流程ID。

    fileCreateTime

    String

    檔案的建立時間,格式為yyyy-MM-dd HH:mm:ss

    fileId

    Long

    檔案ID。

  • 程式碼檢閱的訊息實體格式(即事件訊息中data欄位的內容)樣本如下。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data":{
        "id":111,
        "tenantId" : 租戶Id,
        "projectId" : 專案Id,
        "status": "Reviewing",
        "resourceName": "評審檔案",
        "resourceType": "評審類型",
        "resourceId": "50***9789",
        "submitTime": 1688697808000,
        "lastReviewTime": 1688697808000,
        "reviewUrl" : "評審連結",
        "reviewer": "評審人",
        "submitter": "提交人",
    }

    欄位說明如下表。

    欄位名稱

    欄位類型

    說明

    id

    Long

    程式碼檢閱單ID。

    tenantId

    Long

    租戶ID。

    projectId

    Long

    專案空間ID。

    status

    String

    程式碼檢閱單狀態:

    • Initialized:初始化

    • Reviewing:評審中

    • Accepted:評審通過

    • Rejected:評審未通過

    • Canceled:廢棄

    • AutomaticCanceled:自動完成

    resourceName

    String

    評審資源名稱。

    resourceType

    String

    評審資源類型,取值如下:

    • Business:商務程序

    • File:檔案

    • BatchFiles:批量檔案

    resourceId

    String

    評審資源ID。

    submitTime

    Long

    程式碼檢閱提交時間。

    lastReviewTime

    Long

    最近查看評審單的時間。

    reviewUrl

    String

    程式碼檢閱的詳情地址。

    reviewer

    String

    程式碼檢閱的審批人。

    submitter

    String

    程式碼檢閱的提交人。

訊息實體格式:表變更事件(提交表至開發環境、發行資料表至生產環境)

表變更事件的訊息實體格式(即事件訊息中data欄位的內容)樣本如下。

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "operator": "**************",
    "projectId": 12*****56,
    "tenantId": 12******56,
    "extensionBizId": "123456",
    "tableName":"table1",
    "tableType":"ODPS",  // ODPS、EMR
    "maxComputeProject":"project1"
  }

欄位說明如下表。

欄位名稱

欄位類型

說明

operator

String

提交或發行資料表的使用者UID。

projectId

Long

專案空間ID。

tenantId

Long

租戶ID。

extensionBizId

String

擴充程式卡點流程ID。

tableName

String

表名稱。

tableType

String

表類型,取值如下:

  • ODPS

  • EMR

maxComputeProject

String

對應MaxCompute的專案名稱。

訊息實體格式:節點變更事件(新增、修改、刪除、凍結、解凍、下線)

  • 節點新增、修改、刪除事件的訊息實體格式(即事件訊息中data欄位的內容)樣本如下。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "nodeName": "",
        "programType": "ODPS_SQL",
        "cronExpress": "00 20 00 * * ?",
        "schedulerType": "NORMAL",
        "ownerId": "1912232488744735",
        "priority": 1,
        "baselineId": 117801853,
        "repeatability": true,
        "modifyTime": 1646364549642,
        "createTime": 1646364549642,
        "datasource": "odps_source",
        "tenantId": 28378****10656,
        "nodeId": 100***150,
        "projectId": 30**95,
        "operator": "**************"  //本次操作人
      }

    欄位說明如下表。

    欄位名稱

    欄位類型

    說明

    nodeName

    String

    節點名稱。

    programType

    String

    檔案的代碼類型。常用的代碼類型包括:

    • 6(Shell)

    • 10(ODPS SQL)

    • 11(ODPS MR)

    • 24(ODPS Script)

    • 99(虛擬節點)

    • 221(PyODPS 2)

    • 225(ODPS Spark)

    • 227(EMR Hive)

    • 228(EMR Spark)

    • 229(EMR Spark SQL)

    • 230(EMR MR)

    • 239(OSS對象檢查)

    • 257(EMR Shell)

    • 258(EMR Spark Shell)

    • 259(EMR Presto)

    • 260(EMR Impala)

    • 900(即時同步)

    • 1089(跨租戶節點)

    • 1091(Hologres開發)

    • 1093(Hologres SQL)

    • 1100(賦值節點)

    • 1221(PyODPS 3)

    您可以調用ListFileType介面,查詢檔案的代碼類型。

    cronExpress

    String

    周期調度的cron運算式。

    該參數與DataWorks控制台中,資料開發任務的調度配置 > 時間屬性 > cron運算式對應。

    配置完調度周期定時調度時間後,DataWorks會自動產生相應cron運算式。樣本如下:

    • 每天淩晨5點30分定時調度:00 30 05 * * ?

    • 每個小時的第15分鐘定時調度:00 15 * * * ?

    • 每隔十分鐘調度一次:00 00/10 * * * ?

    • 每天8點到17點,每隔十分鐘調度一次:00 00-59/10 8-17 * * * ?

    • 每月的1日0點20分自動調度:00 20 00 1 * ?

    • 從1月1日0點10分開始,每過3個月調度一次:00 10 00 1 1-12/3 ?

    • 每周二、周五的0點5分自動調度:00 05 00 * * 2,5

    說明

    cron運算式的限制如下:

    • 最短調度間隔時間為5分鐘。

    • 每天最早調度時間為0點5分。

    schedulerType

    String

    任務執行個體的調度類型,取值如下:

    • 0:NORMAL,正常調度任務。該任務會被日常調度。

    • 1:MANUAL,手動任務。該任務不會被日常調度。

    • 2:PAUSE,凍結任務。該任務被日常調度,但啟動調度時直接被置為失敗狀態。

    • 3:SKIP,空跑任務。該任務被日常調度,但啟動調度時直接被置為成功狀態。

    • 4:SKIP_UNCHOOSE,臨時工作流程中未選擇的任務,僅存在於臨時工作流程中,啟動調度時直接被置為成功狀態。

    • 5:SKIP_CYCLE,未到運行周期的周或月任務。該任務被日常調度,但啟動調度時直接被置為成功狀態。

    • 6:CONDITION_UNCHOOSE,上遊執行個體中有分支(IF)節點,但是該下遊節點未被分支節點選中,直接置為空白跑任務。

    • 7:REALTIME_DEPRECATED,即時產生的已經到期的周期執行個體,該類型任務直接被置為成功狀態。

    ownerId

    String

    節點責任人的阿里雲使用者ID。如果該參數為空白,則預設使用調用者的阿里雲使用者ID。

    priority

    Integer

    任務優先順序,取值為13578。數值越大,優先順序越高。

    baselineId

    Long

    基準ID。

    repeatability

    Boolean

    節點是否可以重複運行:

    • true:可以重複運行。

    • false:不可以重複運行。

    modifyTime

    Long

    節點最近一次的修改時間。

    createTime

    Long

    節點的建立時間。

    nodeId

    Long

    節點ID。

    projectId

    Long

    節點所在的專案空間ID。

    tenantId

    Long

    節點所屬的租戶ID。

    operator

    String

    新增、修改或刪除節點的使用者UID。

  • 節點凍結、解凍、下線事件的訊息實體格式(即事件訊息中data欄位的內容)樣本如下。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "operator": "**************",
        "projectId": 123456,
        "tenantId": 123456,
        "nodeIds":[1,2,3],
        "extensionBizId": "123456"
      }

    欄位說明如下表。

    欄位名稱

    欄位類型

    說明

    operator

    String

    凍結、解凍、下線節點的使用者UID。

    projectId

    Long

    節點所在專案空間ID。

    tenantId

    Long

    租戶ID。

    nodeIds

    Array

    被操作的節點ID列表。

    extensionBizId

    String

    擴充程式卡點流程ID 。

訊息實體格式:補資料操作事件

補資料操作事件的訊息實體格式(即事件訊息中data欄位的內容)樣本如下。

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "excludeNodeIds":[],
    "rootNodeId": 10000838271,
    "startFutureInstanceImmediately": false,
    "useMultipleTimePeriods": true,
    "operator": "1320876710332592",
    "multipleTimePeriods": "[{\"bizBeginTime\":\"2022-04-17\",\"bizEndTime\":\"2022-04-17\"}]",
    "parallelGroup": 1,
    "rootNodeProjectId": 12*****8,
    "isParallel": false,
    "name": "P_fff_20220418_215404",
    "tenantId": 16935*****3377,
    "includeNodeIds":
    [
      10000838271
    ],
    "projectId": 12958,
    "order": "asc",
    "extensionBizId": "123456"
  }

重要欄位說明如下表。

說明

上述data內容僅為樣本,下表所列參數為data中常用的參數介紹。

欄位名稱

欄位類型

說明

name

String

補資料工作流程的名稱。

rootNodeId

Long

補資料工作流程根節點ID。

rootNodeProjectId

Long

補資料工作流程根節點所在的專案空間ID。

includeNodeIds

Array

補資料的節點ID列表。

excludeNodeIds

Array

無需補資料的節點ID列表。該列表中的節點會產生空跑執行個體,空跑執行個體被調度後直接運行成功,不會執行指令碼內容。

bizBeginTime

String

任務的開始時間。僅小時調度任務需要設定該參數,格式為HH:mm:ss,取值範圍為 00:00:00~23:59:59

bizEndTime

String

任務的結束時間。僅小時調度任務需要設定該參數,格式為HH:mm:ss,取值範圍為 00:00:00~23:59:59

isParallel

Boolean

補資料操作是否可以並行運行:

  • true:可以並行。

  • false:不可以並行。

parallelGroup

Integer

並行啟動並執行分組數,1表示不分組。

startFutureInstanceImmediately

Boolean

是否跳過調度時間,立即調度運行未來時間的執行個體:

  • true:跳過調度時間,立即執行未來執行個體。

  • false:不跳過調度時間,不會立即執行未來執行個體。

order

String

根據業務日期制定補資料啟動並執行順序:

  • acs:表示按照業務日期正序運行。

  • desc:表示按照業務日期倒序運行。

multipleTimePeriods

String

分段選取業務日期。樣本,[{\"bizBeginTime\":\"2022-04-17\",\"bizEndTime\":\"2022-04-17\"}]

tenantId

Long

租戶ID。

projectId

Long

補資料操作所在的專案ID。

operator

String

執行補資料操作的使用者。

extensionBizId

String

擴充程式卡點流程ID。

訊息實體格式:核准中心(建立、完成審批單,表許可權申請前置)

  • 建立審批單事件的訊息實體格式(即事件訊息中data欄位的內容)樣本如下。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "appId":194209,
      "assignee":"286098539641742899",
      "assigneeName":"yupeng.sunyp",
      "createTime":1652094363000,
      "eventType":"approval",
      "process":{
        "applicant":"286098539641742899",
        "applicantName":"yupeng.sunyp",
        "approvalContent":{
          "applyPeriod":"2997964800000",
          "applyReason":"測試",
          "arrayData":[
            {
              "ownerBaseId":"1822931104031845",
              "objectType":"TABLE",
              "odpsTable":"loghub_070103",
              "envType":1,
              "projectGuid":"odps.b_mc1",
              "objectGuid":"odps.b_mc1.loghub_070103",
              "tenantId":0,
              "objectName":"loghub_070103",
              "ownerAccountName":"ALIYUN$dataworks_3h1_1(dataworks_3h1_1)",
              "odpsProject":"B_MC1",
              "projectName":"B_MC1",
              "actions":[
                "Select",
                "Describe"
              ],
              "projectId":194209,
              "workspaceId":"194209"
            }
          ],
          "contentType":"application/json",
          "granteeAccounts":[
            {
              "granteeId":"286098539641742899",
              "granteeTypeSub":103,
              "granteeType":1,
              "granteeName":"RAM$dataworks_3h1_1:yupeng.sunyp"
            },
            {
              "granteeId":"237857631119109360",
              "granteeTypeSub":105,
              "granteeType":1,
              "granteeName":"RAM$dataworks_3h1_1:dev"
            }
          ],
          "odpsProjectName":"B_MC1",
          "projectEnv":"1",
          "resourceSummary":"loghub_070103",
          "tenantId":280749521950784,
          "workspaceId":194209
        },
        "assignmentCategory":"MaxCompute",
        "createTime":1652094363000,
        "processDefinitionId":"definition-3dcc9ce7-d29d-435d-a908-60d4355ff5e2",
        "processId":"528535869984706",
        "status":"Pending",
        "title":"MaxComputeTable",
        "updateTime":1652094363000
      },
      "processId":"528535869984706",
      "status":"Submit",
      "taskId":"528535870015424",
      "tenantId":280749521950784,
      "updateTime":1652094364000
      }

    重要欄位說明如下表。

    欄位名稱

    欄位類型

    說明

    appId

    Long

    工作空間ID。

    assignee

    String

    審批單處理人的BaseId。

    assigneeName

    String

    審批單處理人的名稱。

    comments

    String

    備忘資訊。

    createTime

    Long

    審批單的建立時間戳記。

    processId

    String

    審批單的ID。

    status

    String

    審批單的狀態。

    taskId

    String

    審批任務的ID。

    tenantId

    String

    租戶ID。

    updateTime

    String

    審批單更新的時間戳記。

    eventType

    String

    事件類型。

    process

    Object

    審批任務對象。

    applicant

    String

    申請BaseID。

    applicantName

    String

    申請人名稱。

    assignmentCategory

    String

    申請內容類型。

    createTime

    String

    審批單建立的時間戳記。

    processDefinitionId

    String

    工作流程定義ID。

    processId

    String

    工作流程ID。

    status

    String

    工作流程狀態。

    title

    String

    工作流程標題。

    updateTime

    Long

    審批單更新的時間戳記。

    approvalContent

    Object

    審批內容對象。

    applyPeriod

    String

    審批單的申請時間長度。

    applyReason

    String

    審批單的申請原因。

    contentType

    String

    審批內容類型。

    odpsProjectName

    String

    審批專案名稱。

    resourceSummary

    String

    資源描述。

    tenantId

    Long

    租戶ID。

    workspaceId

    Long

    工作空間ID。

    projectEnv

    String

    審批專案所屬環境。

    granteeAccounts

    Array

    授權列表。

    .granteeId

    String

    授權主體ID。

    granteeType

    String

    授與類型。

    granteeTypeSub

    String

    授權主體子類型。

    granteeName

    String

    授權主體名稱。

    arrayData

    Array

    授權內容列表,詳情請參見附錄二:授權內容列表(MaxCompute)

  • 完成審批單事件的訊息實體格式(即事件訊息中data欄位的內容)樣本如下。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "appId":227859,
        "assignee":"286098539641742899",
        "assigneeName":"yupeng.sunyp",
        "comments":"ces",
        "createTime":1652095981000,
        "eventType":"approval",
        "process":{
            "applicant":"286098539641742899",
            "applicantName":"yupeng.sunyp",
            "approvalContent":{
                "applyPeriod":"2997964800000",
                "applyReason":"測試",
                "arrayData":[
                    {
                        "ownerBaseId":"238266539737108884", 
                        "objectType":"TABLE",
                        "odpsTable":"cdd",
                        "objectNameCn":"樹大根深的",
                        "envType":1,
                        "projectGuid":"odps.da_simple_202112",
                        "objectGuid":"odps.da_simple_202112.cdd",
                        "tenantId":0,
                        "objectName":"cdd",
                        "ownerAccountName":"RAM$dataworks_3h1_1:wb-wjh926877(wb-wjh926877)",
                        "odpsProject":"da_simple_202112",
                        "projectName":"da_simple_202112",
                        "actions":[
                            "Select",
                            "Describe"
                        ],
                        "projectId":227859,
                        "workspaceId":"227859"
                    }
                ],
                "contentType":"application/json",
                "granteeAccounts":[
                    {
                        "granteeId":"286098539641742899",
                        "granteeTypeSub":103,
                        "granteeType":1,
                        "granteeName":"RAM$dataworks_3h1_1:yupeng.sunyp"
                    }
                ],
                "odpsProjectName":"da_simple_202112",
                "projectEnv":"1",
                "resourceSummary":"cdd",
                "tenantId":280749521950784,
                "workspaceId":227859
            },
            "assignmentCategory":"MaxCompute",
            "createTime":1652095981000,
            "processDefinitionId":"definition-6e6418e6-c65f-4f26-a673-88576b1c1e4a",
            "processId":"528539182432192",
            "status":"Pending",
            "title":"MaxComputeTable",
            "updateTime":1652095981000
        },
        "processId":"528539182432192",
        "status":"Completed",
        "taskId":"528539182780353",
        "tenantId":280749521950784,
        "updateTime":1652096017000
      }

    重要欄位說明如下表。

    欄位名稱

    欄位類型

    說明

    appId

    Long

    工作空間ID。

    assignee

    String

    審批單處理人BaseId。

    assigneeName

    String

    審批單處理人名稱。

    comments

    String

    備忘資訊。

    createTime

    Long

    審批單的建立時間戳記。

    processId

    String

    審批單ID。

    status

    String

    審批單狀態。

    taskId。

    String

    審批任務ID。

    tenantId

    String

    租戶ID。

    updateTime

    String

    審批單最近一次更新的時間戳記。

    eventType

    String

    事件類型。

    process

    Object

    審批任務對象。

    applicant

    String

    申請BaseID。

    applicantName

    String

    申請人名稱。

    assignmentCategory

    String

    申請內容類型。

    createTime

    String

    審批單建立的時間戳記。

    processDefinitionId

    String

    工作流程定義ID。

    processId

    String

    工作流程ID。

    status

    String

    工作流程狀態。

    title

    String

    工作流程標題。

    updateTime

    Long

    審批單更新的時間戳記。

    approvalContent

    Object

    審批內容對象。

    applyPeriod

    String

    申請時間長度。

    applyReason

    String

    申請原因。

    contentType

    String

    內容類型。

    odpsProjectName

    String

    專案名稱。

    resourceSummary

    String

    資源描述。

    tenantId

    Long

    租戶ID。

    workspaceId

    Long

    工作空間ID。

    projectEnv

    String

    所屬環境。

    granteeAccounts

    Array

    授權列表。

    granteeId

    String

    授權主體ID。

    granteeType

    String

    授與類型。

    granteeTypeSub

    String

    授權主體子類型。即授權帳號類型,具體如下:

    • 生產雲帳號(生產調度使用的帳號):ACCOUNT_PRD(101)

    • 應用雲帳號:ACCOUNT_APP(102)

    • 個人云帳號:ACCOUNT_USER(103)

    • 部門雲帳號:ACCOUNT_DEPT(104)

    • MOCK帳號:ACCOUNT_MOCK(106)

    • 他人云帳號:ACCOUNT_OTHER_USER(105)

    granteeName

    String

    授權主體名稱。

    arrayData

    Array

    授權內容列表,詳情請參見附錄三:授權內容列表(DataService)

  • 表許可權申請前置事件的訊息實體格式(即事件訊息中data欄位的內容)樣本如下。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "operator":"1239****8872",
        "order":{
            "applyReason":"測試",
            "deadlineDate":"1",
            "deadlineType":"month",
            "granteeObjectList":[
                {
                    "granteeId":"1239****8872"
                }
            ],
            "projectMeta":{
                "envCode":1,
                "labelSecurity":false,
                "objectMetaList":[
                    {
                        "action":[
                            "Select",
                            "Describe"
                        ],
                        "name":"tablei",
                        "projectGuid":"odps.d11aa"
                    }
                ],
                "projectId":2****0,
                "projectName":"d11aa"
            }
        },
        "projectId":2****0,
        "tenantId":5564****6465
    },
      "id": "539fd8f4-4ea1-4625-aa8b-6c906674c113",
      "source": "acs.dataworks",
      "specversion": "1.0",
      "subject": "",
      "time": "2020-11-19T21:04:41+08:00",
      "type": "dataworks:ApprovalChange:ApprovalChangeBeforeCreate",
      "aliyunaccountid": "123456789098****",
      "aliyunpublishtime": "2020-11-19T21:04:42.179PRC",
      "aliyuneventbusname": "default",
      "aliyunregionid": "cn-hangzhou",
      "aliyunpublishaddr": "172.25.XX.XX"
    }

    重要欄位說明如下表。

    欄位名稱

    欄位類型

    說明

    operator

    String

    執行表許可權申請前置操作的使用者ID。

    projectId

    Long

    執行表許可權申請前置操作的工作空間ID。

    tenantId

    Long

    執行表許可權申請前置操作的租戶ID。

    order

    Object

    申請單資訊。

    applyReason

    String

    申請原因。

    deadlineDate

    String

    申請單有效期間。

    deadlineType

    String

    申請單有效期間的時間單位。例如,Day、Month。

    granteeObjectList

    Object

    授權對象列表。

    granteeId

    String

    授權對象ID,即RAM使用者ID。

    projectMeta

    Object

    工作空間資訊。

    envCode

    Integer

    工作空間環境標識,0表示開發環境,1表示生產環境。

    labelSecurity

    Boolean

    是否開啟Label層級管控:

    • true:開啟。

    • false:不開啟。

    objectMetaList

    Array

    授權對象列表。

    action

    Array

    授權動作。例如,授權擁有表的Select或Describe許可權。

    name

    String

    待申請許可權的表名稱。

    projectGuid

    String

    表所在工作空間Guid。

    projectName

    String

    表所在工作空間名稱。

訊息實體格式:營運中心警示(基準、事件、任務規則、資源群組規則)

  • 基準警示的訊息實體格式(即訊息中data欄位的內容)樣本如下。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "alarmType": "SLA_ALERT",
        "baselineId": 137000723,
        "baselineName": "ods層check任務專用 -- 小時級",
        "baselineStatus": 3,
        "bizDate": 1654444800000,
        "inGroupId": 14,
        "nodeId": 10000398734,
        "projectId": 7634,
        "taskId": 3072893778,
        "tenantId": 260953503125729
      }

    欄位說明如下表。

    欄位名稱

    欄位類型

    說明

    alarmType

    String

    警示類型。取值如下:

    • SLA_ALERT

    • REMIND_ALERT

    • TOPIC_ALERT

    baselineId

    Long

    基準ID。

    baselineName

    String

    基準名稱。

    baselineStatus

    Integer

    基準的狀態。取值如下:

    • -1:異常。

    • 1:安全。

    • 2:預警。

    • 3:破線。

    bizDate

    Long

    業務日期時間戳記。

    inGroupId

    Integer

    基準執行個體的周期號。Apsara Infrastructure Management Framework線為1,小時基準的取值範圍為[1,24]

    nodeId

    Long

    導致基準異常的節點ID。

    projectId

    Long

    基準所屬專案空間ID。

    taskId

    Long

    導致基準異常的執行個體ID。

    tenantId

    Long

    租戶ID。

  • 事件警示的訊息實體格式(即訊息中data欄位的內容)樣本如下。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "alarmType": "TOPIC_ALERT",
        "nodeId": 10000316315,
        "projectId": 9109,
        "taskId": 3072750357,
        "taskStatus": 5,
        "tenantId": 280749521950784,
        "topicId": 1084769
      }

    欄位說明如下表。

    欄位名稱

    欄位類型

    說明

    alarmType

    String

    警示類型。取值如下:

    • SLA_ALERT

    • REMIND_ALERT

    • TOPIC_ALERT

    topicId

    Long

    事件的ID。

    taskStatus

    String

    觸發事件的節點執行個體狀態。

    nodeId

    Integer

    觸發事件的節點ID。

    projectId

    Long

    觸發事件的節點所屬專案空間ID。

    taskId

    Long

    觸發事件的節點執行個體ID。

    tenantId

    Long

    租戶ID。

  • 任務規則警示的訊息實體格式(即訊息中data欄位的內容)樣本如下。

    說明

    通常,規則對象為任務節點、基準、工作空間、商務程序等。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "alarmType": "REMIND_ALERT",
        "nodeIds": "10000405472,10000405473,10000405474",
        "projectId": 9876,
        "remindId": 7605,
        "remindName": "出錯警示",
        "remindType": "ERROR",
        "remindUnit": "NODE",
        "taskIds": "3072900896,3072900870,3072900855",
        "tenantId": 259025816027648
      }

    欄位說明如下表。

    欄位名稱

    欄位類型

    說明

    alarmType

    String

    警示類型。取值如下:

    • SLA_ALERT

    • REMIND_ALERT

    • TOPIC_ALERT

    nodeIds

    String

    觸發規則警示的節點列表。

    remindId

    Long

    規則ID。

    remindType

    Stirng

    規則引發條件。取值如下:

    • FINISHED:完成。

    • UNFINISHED:未完成。

    • ERROR:運行出錯。

    • CYCLE_UNFINISHED:周期未完成。

    • TIMEOUT:運行逾時。

    projectId

    Long

    觸發規則的節點所屬專案空間ID。

    remindUnit

    String

    觸發規則的物件類型。取值如下:

    • NODE:任務節點。

    • GATEWAY_RES:獨享調度資源群組。

    • DI_RES:Data Integration資源群組。

    tenantId

    Long

    租戶ID。

    taskId

    String

    觸發規則警示的執行個體列表。

    remindName

    String

    規則名稱。

  • 資源群組規則警示的訊息實體格式(即訊息中data欄位的內容)樣本如下。

    {
      "datacontenttype": "application/json;charset=utf-8",
      "data": {
        "alarmType": "REMIND_ALERT",
        "projectId": 2991,
        "remindId": 200000186,
        "remindName": "獨享資源群組警示",
        "remindType": "RES_GROUP_THRESHOLD",
        "remindUnit": "GATEWAY_RES",
        "resourceGroupIdentifier": "S_res_group_195820716552192_1650965857744",
        "resourceGroupName": "emr_exclusive_scheduld",
        "resourceGroupType": "GATEWAY",
        "tenantId": 195820716552192
      }

    欄位說明如下表。

    欄位名稱

    欄位類型

    說明

    alarmType

    String

    警示類型。取值如下:

    • SLA_ALERT

    • REMIND_ALERT

    • TOPIC_ALERT

    remindId

    Long

    規則ID。

    remindType

    Stirng

    規則引發條件。取值如下:

    • FINISHED:完成。

    • UNFINISHED:未完成。

    • ERROR:運行出錯。

    • CYCLE_UNFINISHED:周期未完成。

    • TIMEOUT:運行逾時。

    • RES_GROUP_THRESHOL:資源群組利用率。

    • RES_GROUP_WAIT_AMOUNT:資源群組等待資源執行個體數。

    projectId

    Long

    觸發規則的節點所屬專案空間ID。

    remindUnit

    String

    觸發規則的物件類型。取值如下:

    • NODE:任務節點。

    • GATEWAY_RES:獨享調度資源群組。

    • DI_RES:Data Integration資源群組。

    tenantId

    Long

    租戶ID。

    remindName

    String

    規則名稱。

    resourceGroupIdentifier

    String

    資源群組的唯一識別碼。

    resourceGroupName

    String

    資源群組名稱。

    resourceGroupType

    String

    資源群組類型。取值如下:

    • GATEWAY:調度資源群組。

    • DI:Data Integration資源群組。

訊息實體格式:工作流程狀態變更事件

工作流程狀態變更事件的訊息實體格式(即事件訊息中data欄位的內容)樣本如下。

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "bizDate": "2022-11-07 00:00:00",
    "createTime": "2022-11-08 10:56:32",
    "dagId": 500358972116,
    "dagName": "P_test_spark_true_copy_20221108_105631",
    "dagType": 3,
    "flowId": 1,
    "flowName": "ATCLOUD_FLOW",
    "operator": "1107550004253538",
    "projectEnv": "PROD",
    "projectId": 258463,
    "status": 6,
    "tenantId": 524257424564736
}

重要欄位說明如下表。

欄位名稱

欄位類型

說明

bizDate

String

工作流程的業務日期。格式為yyyy-mm-dd hh24:mi:ss

createTime

String

工作流程的建立時間。格式為yyyy-mm-dd hh24:mi:ss

dagId

Long

DagId,根據DagId可擷取Dag詳情。

dagName

String

工作流程的名稱。

dagType

Integer

Dag的類型,取值如下:

  • 0:周期調度任務。

  • 1:手動任務。

  • 2:煙霧測試 (Smoke Test)。

  • 3:補資料。

  • 4:臨時商務程序。

  • 5:手動商務程序。

flowId

Integer

工作流程對應的商務程序ID。

flowName

String

工作流程對應的商務程序名稱。

operator

String

建立工作流程的使用者UID。

projectEnv

String

工作流程所屬環境,取值如下:

  • DEV:開發環境。

  • PROD:生產環境。

tenantId

Long

調度任務執行個體所在工作空間的租戶ID。

projectId

Long

工作空間ID。

status

Integer

工作流程中任務的狀態,取值如下:

  • 0:未運行。

  • 4:運行中。

  • 5:執行失敗。

  • 6:執行成功。

訊息實體格式:資料品質校正結果反饋事件

資料品質校正結果反饋事件的訊息實體格式(即事件訊息中data欄位的內容)樣本如下。

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "ruleCheckId": 521771452,
    "feedbackContent": "跳過",
    "ruleId": 28610334,
    "createUser": "110755000425****",
    "taskId": "1676448144650974278b99ee64ca9a26ecf4063a88797",
    "beginTime": "1676448145000",
    "envType": "ODPS",
    "projectName": "test_mc_2303_kongjian",
    "projectId": 242601,
    "tenantId": 524257424564736
}

重要欄位說明如下表。

欄位名稱

欄位類型

說明

ruleId

Long

資料品質規則ID。

ruleCheckId

Long

校正結果自增ID。

feedbackContent

String

反饋內容。

createUser

String

反饋人使用者ID。

taskid

String

資料品質任務的ID。

beginTime

String

反饋時間。

envType

String

規則關聯的表所屬資料來源類型,包括:ODPS、EMR、HOLO。

projectName

String

規則關聯的表所屬的資料來源唯一標識。

projectId

Long

DataWorks專案空間ID。

tenantId

Long

DataWorks租戶ID。

訊息實體格式:資料品質校正完成事件

資料品質校正完成事件的訊息實體格式(即事件訊息中data欄位的內容)樣本如下。

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "projectId": 242601,
    "tenantId": 52425742456****,
    "id": 52177****,
    "taskId": "1676463288449d1b2102ac40048aeb7a628753363****",
    "entityId": 1562***,
    "ruleId": 28610334,
    "property": "-",
    "bizdate": "2023-02-09 00:00:00",
    "dateType": "YMD",
    "actualExpression": "ds\u003d20230210",
    "matchExpression": "ds\u003d$[yyyymmdd]",
    "blockType": 1,
    "checkResult": 0,
    "checkResultStatus": 0,
    "methodName": "table_count",
    "beginTime": "2023-02-15 20:14:48",
    "endTime": "2023-02-15 20:14:55",
    "timeConsuming": "7s",
    "externalType": "CWF2",
    "externalId": "triggerByManual",
    "discrete": false,
    "fixedCheck": true,
    "referenceValue": [
        {
            "bizDate": "3000-12-31 00:00:00",
            "discreteProperty": "錶行數,1天差值",
            "value": 0.0,
            "singleCheckResult": 0
        }
    ],
    "sampleValue": [
        {
            "bizDate": "2023-02-09 00:00:00",
            "value": 3.0
        }
    ],
    "trend": "\u003e\u003d",
    "expectValue": 0.0,
    "op": "\u003e\u003d",
    "projectName": "test_mc_2303_kongjian",
    "tableName": "sx_dim_1209_001",
    "templateId": 47,
    "checkerType": 0,
    "ruleName": "前一天差值",
    "isPrediction": false,
    "feedbackStatus": 0,
    "whetherToFilterDirtyData": false
}

重要欄位說明如下表。

欄位名稱

欄位類型

說明

id

Long

本次校正流程的主鍵ID。每觸發一次規則校正會新增一條主鍵ID記錄。

projectId

Long

DataWorks專案空間ID

tenantId

Long

DataWorks租戶ID

taskId

String

校正任務的ID。

entityId

Long

分區運算式ID。

ruleId

Long

規則ID。

property

String

規則屬性的欄位,即被校正資料來源表的column名稱。

bizdate

Long

業務日期。如果被校正的業務主體為離線資料,則業務日期通常為執行校正操作的前一天。

dateType

String

調度周期的類型。通常為YMD,即年任務、月任務、天任務。

actualExpression

String

被校正的資料來源表的實際分區。

matchExpression

String

分區運算式。

blockType

Integer

校正規則的強弱。強弱表示規則的重要程度。取值如下:

  • 1,表示強規則。

  • 0,表示弱規則。

您可以根據實際需求設定重要的規則為強規則。如果使用強規則並觸發了紅色警示,則會阻塞調度任務。

checkResult

Integer

校正結果狀態。取值如下:

  • -1:校正異常

  • 0:校正通過

  • 1:觸發橙色閾值

  • 2:觸發紅色閾值

methodName

String

採集樣本資料的方法。包括:avg、count、sum、min、max、count_distinct、user_defined、table_count、table_size、table_dt_load_count、table_dt_refuseload_count、null_value、null_value/table_count、(table_count-count_distinct)/table_count、table_count-count_distinct等。

beginTime

Long

執行校正操作的開始時間。

endTime

Long

查詢校正結果的截止時間。

timeConsuming

String

執行校正任務花費的時間。

externalType

String

調度系統的類型。目前僅支援CWF2。如果externalType為空白則表示是手動試跑任務。

externalId

String

  • externalType為CWF2時,表示調度任務的節點ID。

  • externalType為空白時,取值為triggerByManual,表示為手動試跑任務。

discrete

Boolean

是否為離散校正。取值如下:

  • true:是離散校正。

  • false:非離散校正。

fixedCheck

Boolean

是否為固定值校正。取值如下:

  • true:是固定值校正。

  • false:非固定值校正。

referenceValue

歷史樣本值。

bizDate

Long

業務日期。如果被校正的業務主體為離線資料,則業務日期通常為執行校正操作的前一天。

discreteProperty

String

通過group by分組後的樣本欄位取值。例如group by性別欄位,則DiscreteProperty為男生、女生和null。

value

Decimal

樣本值。

singleCheckResult

Integer

校正結果的字串。

sampleValue

當前使用的樣本。

bizDate

Long

業務日期。如果被校正的業務主體為離線資料,則業務日期通常為執行校正操作的前一天。

value

Decimal

樣本值。

trend

String

校正結果的趨勢。

expectValue

Double

期望值。

op

String

比較符。

projectName

String

需要進行資料品質校正的引擎或者資料來源名稱。

tableName

String

進行校正的表名稱。

templateId

Integer

使用的校正模板的ID。

checkerType

Integer

校正器的類型。

ruleName

String

規則的名稱。

isPrediction

Boolean

是否為預測的結果。取值如下:

  • true:是預測的結果。

  • false:不是預測的結果。

comment

String

校正規則的描述。

訊息實體格式:租戶刪除專案空間前置事件

租戶刪除專案空間前置事件的訊息實體格式(即事件訊息中data欄位的內容)樣本如下。

{
  "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "projectId": 7***7, // 工作空間ID
		"tenantId": 2807****0784, // 租戶ID
		"operator": "操作使用者BaseId"
},
  "id": "539fd8f4-4ea1-4625-aa8b-6c906674c113",
  "source": "acs.dataworks",
  "specversion": "1.0",
  "subject": "",
  "time": "2020-11-19T21:04:41+08:00",
  "type": "dataworks:ProjectChange:DeleteProject",
  "aliyunaccountid": "123456789098****",
  "aliyunpublishtime": "2020-11-19T21:04:42.179PRC",
  "aliyuneventbusname": "default",
  "aliyunregionid": "cn-hangzhou",
  "aliyunpublishaddr": "172.25.XX.XX"
}

重要欄位說明如下表。

欄位名稱

欄位類型

說明

operator

String

刪除DataWorks工作空間的使用者ID。

projectId

Long

待刪除的DataWorks工作空間ID。

tenantId

Long

待刪除工作空間所屬的租戶ID。

訊息實體格式:租戶刪除專案空間後置事件

租戶刪除專案空間後置事件的訊息實體格式(即事件訊息中data欄位的內容)樣本如下。

{
    "datacontenttype": "application/json;charset=utf-8",
    "aliyunaccountid": "1493189603770213",
    "aliyunpublishtime": "2023-12-11T02:10:00.194Z",
    "data": {
        "tenantId": 605355236006144,
        "blockBusiness": false,
        "projectName": "test2",
        "projectId": 380708,
        "operator": "1493189603770213",
        "timestamp": 1702260556896
    },
    "aliyunoriginalaccountid": "1493189603770213",
    "specversion": "1.0",
    "aliyuneventbusname": "default",
    "id": "2c3e41e5-3486-40ce-87d4-910f989cf2a7",
    "source": "acs.dataworks",
    "time": "2023-12-11T10:10:00.117Z",
    "aliyunregionid": "cn-shanghai",
    "type": "dataworks:ProjectChange:ProjectDeleted"
}

重要欄位說明如下表。

欄位名稱

欄位類型

說明

operator

String

刪除DataWorks工作空間的使用者ID。

projectId

Long

待刪除的DataWorks工作空間ID。

projectName

String

待刪除的DataWorks工作空間名稱。

tenantId

Long

待刪除工作空間所屬的租戶ID。

timestamp

Long

發送訊息的時間戳記。

訊息實體格式:資料下載前置事件-檔案產生

“資料下載前置事件-檔案產生”的訊息實體格式(即事件訊息中data欄位的內容)樣本如下。

{
    "datacontenttype": "application/json;charset=utf-8",
    "aliyunaccountid": "1493189603770213",
    "aliyunpublishtime": "2023-12-11T02:10:00.194Z",
    "data": {
        "moduleType": "sqlx_query",
        "operatorBaseId": "123936573******",
        "operatorUid": "14931896037*******",
        "fileName": "檔案名稱.csv",
        "fileSize": 10241024,
        "datasourceId": "1111",
        "datasourceName": "odps_first",
        "queryDwProjectId": "22222",
        "queryDwProjectName": "test_project",
        "dataRowSize": "123456",
        "sqlText": "select sku_code, sku_name from dim_sku",
    },
    "aliyunoriginalaccountid": "149318960******",
    "specversion": "1.0",
    "aliyuneventbusname": "default",
    "id": "2c3e41e5-3486-40ce-87d4-910f989cf2a7",
    "source": "acs.dataworks",
    "time": "2023-12-11T10:10:00.117Z",
    "aliyunregionid": "cn-shanghai",
    "type": "dataworks:ResourcesDownload:DownloadResources"
}

重要欄位說明如下表。

欄位名稱

欄位類型

說明

moduleType

String

下載資料的來源:

  • entity_transfer:在資訊安全中心 > 安全性原則 > 實體轉交 > 轉交日誌下載的資料。

  • develop_query:在資料開發(DataStudio)使用SQL語句查詢並下載的資料。

  • sqlx_query:在資料分析 > SQL查詢使用SQL語句查詢並下載的資料。

  • dw_excel:在資料分析 > 試算表下載的資料。

operatorBaseId

String

執行下載操作的使用者BaseID。

operatorUid

String

執行下載操作的使用者UID。

fileName

String

下載檔案的名稱。

fileSize

Long

下載檔案的大小。

datasourceId

String

下載的資料所屬的資料來源ID。

datasourceName

String

下載的資料所屬的資料來源名稱。

queryDwProjectId

String

下載的資料所屬的DataWorks工作空間ID。

queryDwProjectName

String

下載的資料所屬的DataWorks工作空間標識。

dataRowSize

Long

下載的資料條數。

sqlText

String

通過SQL語句查詢並下載資料,此處為使用的SQL代碼。

訊息實體格式:資料下載前置事件-檔案下載

“資料下載前置事件-檔案下載”的訊息實體格式(即事件訊息中data欄位的內容)樣本如下。

{
    "datacontenttype": "application/json;charset=utf-8",
    "aliyunaccountid": "1493189603770213",
    "aliyunpublishtime": "2023-12-11T02:10:00.194Z",
    "data": {
        "moduleType": "sqlx_query",
        "operatorBaseId": "123936573******",
        "operatorUid": "14931896037*******",
        "fileName": "檔案名稱.csv",
        "fileSize": 10241024,
        "datasourceId": "1111",
        "datasourceName": "odps_first",
        "queryDwProjectId": "22222",
        "queryDwProjectName": "test_project",
        "dataRowSize": "123456",
        "sqlText": "select sku_code, sku_name from dim_sku",
        "ip": "198.10.0.1"
    },
    "aliyunoriginalaccountid": "149318960******",
    "specversion": "1.0",
    "aliyuneventbusname": "default",
    "id": "2c3e41e5-3486-40ce-87d4-910f989cf2a7",
    "source": "acs.dataworks",
    "time": "2023-12-11T10:10:00.117Z",
    "aliyunregionid": "cn-shanghai",
    "type": "dataworks:ResourcesDownload:DownloadResourcesExecute"
}

重要欄位說明如下表。

欄位名稱

欄位類型

說明

moduleType

String

下載資料的來源:

  • entity_transfer:在資訊安全中心 > 安全性原則 > 實體轉交 > 轉交日誌下載的資料。

  • develop_query:在資料開發(DataStudio)使用SQL語句查詢並下載的資料。

  • sqlx_query:在資料分析 > SQL查詢使用SQL語句查詢並下載的資料。

  • dw_excel:在資料分析 > 試算表下載的資料。

operatorBaseId

String

執行下載操作的使用者BaseID。

operatorUid

String

執行下載操作的使用者UID。

fileName

String

下載檔案的名稱。

fileSize

Long

下載檔案的大小。

datasourceId

String

下載的資料所屬的資料來源ID。

datasourceName

String

下載的資料所屬的資料來源名稱。

queryDwProjectId

String

下載的資料所屬的DataWorks工作空間ID。

queryDwProjectName

String

下載的資料所屬的DataWorks工作空間標識。

dataRowSize

Long

下載的資料條數。

sqlText

String

通過SQL語句查詢並下載資料,此處為使用的SQL代碼。

ip

String

執行下載操作的使用者的IP地址。

訊息實體格式:資料上傳前置事件

資料上傳前置事件的訊息實體格式(即事件訊息中data欄位的內容)樣本如下。

{
    "datacontenttype": "application/json;charset=utf-8",
    "aliyunaccountid": "1493189603770213",
    "aliyunpublishtime": "2023-12-11T02:10:00.194Z",
    "data": {
        "uploadSourceType": "LOCAL",
        "optTableType": "CREATE",
        "targetEngineType": "MAXCOMPUTE",
        "writeType": "OVERWRITE",
        "conflictMode": "IGNORE",
        "operatorBaseId": "12312*****",
        "operatorUid": "1222222*****",
        "datasourceId": "1111",
        "datasourceName": "odps_first",
        "tableGuid": "odps.mc_project.test_table",
        "queryDwProjectId": "22222",
        "queryDwProjectName": "test_project",
        "fileSize": 123456
    },
    "aliyunoriginalaccountid": "149318960******",
    "specversion": "1.0",
    "aliyuneventbusname": "default",
    "id": "2c3e41e5-3486-40ce-87d4-910f989cf2a7",
    "source": "acs.dataworks",
    "time": "2023-12-11T10:10:00.117Z",
    "aliyunregionid": "cn-shanghai",
    "type": "dataworks:ResourcesUpload:UploadDataToTable"
}

重要欄位說明如下表。

欄位名稱

欄位類型

說明

uploadSourceType

String

上傳資料的來源:

  • LOCAL:上傳本地檔案資料。

  • OSS:上傳OSS檔案資料。

  • DW_EXCEL:上傳DataWorks的資料分析 > 試算表資料。

  • HTTP:上傳HTTP檔案資料。

optTableType

String

選擇將資料上傳至指定引擎資料來源的已有表或建立表。取值如下:

  • CREATE:上傳資料至建立表。

  • IMPORT:上傳資料至已有表。

targetEngineType

String

選擇將資料上傳至哪類引擎。取值如下:

  • MaxCompute

  • EMR Hive

  • Hologres

writeType

String

資料寫入至目標表的方式。取值如下:

  • OVERWRITE:覆蓋原有表資料。

  • APPEND:將上傳的資料追加至目標表中。

conflictMode

String

上傳資料時,目標表的主鍵衝突處理策略:

  • IGNORE:存在主鍵衝突時,忽略上傳的資料。

  • REPLACE:存在主鍵衝突時,先刪除衝突資料所在的行,再將上傳的資料插入該行。上傳資料未指定的欄位會寫為NULL。

  • UPDATE:上傳的資料覆蓋原表資料,只覆蓋上傳資料指定的欄位,未指定欄位資料保持不變。

operatorBaseId

String

執行上傳操作的使用者BaseID。

operatorUid

String

執行上傳操作的使用者UID。

datasourceId

String

上傳資料至哪個資料來源,此處填寫資料來源ID。

datasourceName

String

上傳資料至哪個資料來源,此處填寫資料來源名稱。

tableGuid

String

表的Guid。樣本如下:

  • MaxCompute:odps.maxcomputeProject.tableName

  • EMR_Hive:emr_hive.emr叢集id.schema.tableName

  • Holo:holo.hologres執行個體id.database

queryDwProjectId

String

表所屬的DataWorks工作空間ID。

queryDwProjectName

String

表所屬的DataWorks工作空間名稱。

fileSize

Long

上傳檔案的大小,單位為位元組。

附錄一:發送給EventBridge的訊息格式

完整的事件訊息樣本如下。

{ 
 "datacontenttype": "application/json;charset=utf-8",
  "data": {
    "beginWaitTimeTime": 165270057****,
    "dagId": 44655****,
    "dagType": 0,
    "taskType": 0,
    "modifyTime": 165270057****,
    "createTime": 165254323****,
    "appId": 3*****2,
    "tenantId": 235454***432001,
    "opCode": 31,
    "flowId": 1,
    "nodeId": 100269****,
    "beginWaitResTime": 165270057****,
    "taskId": 453268****,
    "status": 3
  },
  "id": "539fd8f4-4ea1-4625-aa8b-6c906674****",
  "source": "acs.dataworks",
  "specversion": "1.0",
  "subject": "",
  "time": "2020-11-19T21:04:41+08:00",
  "type": "dataworks:InstanceStatusChanges:InstanceStatusChanges",
  "aliyunaccountid": "123456789098****",
  "aliyunpublishtime": "2020-11-19T21:04:42.179PRC",
  "aliyuneventbusname": "default",
  "aliyunregionid": "cn-hangzhou",
  "aliyunpublishaddr": "172.25.XX.XX"
}

一個完整的事件訊息包括訊息的實體格式,以及訊息的ID、來源、產生時間等基礎資訊。其中,重要欄位的詳細說明如下表。

欄位名稱

欄位類型

說明

data

object

訊息實體格式。不同類型事件的訊息格式及其包含的欄位含義存在差異,詳情請參見:

id

String

事件訊息的唯一ID。用於定位事件訊息。

type

String

事件類型。用於描述事件來源相關的事件類型。取值樣本如下:

  • dataworks:FileChange:CommitFile:表示提交檔案。

  • dataworks:FileChange:DeployFile:表示發布檔案。

事件類型的全量取值及說明,請參見訊息事件類型列表

說明

更多欄位的詳細介紹,請參見事件概述

附錄二:授權內容列表(MaxCompute)

assignmentCategory類型為MaxCompute時,arrayData的資料內容樣本如下。

[
  {
    "ownerBaseId":"1822931104031845",
    "objectType":"TABLE",
    "odpsTable":"oracle_dss_a1214_1136_1_invalid_column",
    "envType":1,
    "projectGuid":"odps.px_wokebench_1",
    "objectGuid":"odps.px_wokebench_1.oracle_dss_a1214_1136_1_invalid_column",
    "tenantId":0,
    "objectName":"oracle_dss_a1214_1136_1_invalid_column",
    "ownerAccountName":"ALIYUN$dataworks_3h1_1(dataworks_3h1_1)",
    "odpsProject":"dataworks_pref_test1113",
    "projectName":"dataworks_pref_test1113",
    "actions":[
      "Select",
      "Describe"
    ],
    "projectId":107100,
    "workspaceId":"107100"
  }
]

重要欄位說明如下表。

欄位名稱

欄位類型

說明

ownerBaseId

String

表所有者的BaseID。

ownerAccountName

String

表所有者的名稱。

objectType

String

物件類型。

odpsTable

String

表名稱。

envType

String

表所屬環境。

projectGuid

String

專案Guid。

objectGuid

String

對象Guid。

objectName

String

對象名稱。

odpsProject

String

ODPS專案名稱。

projectName

String

專案代碼。

projectId

Long

專案ID。

workspaceId

String

工作空間ID。

actions

Array

操作類型列表。

附錄三:授權內容列表(DataService)

assignmentCategory類型為DataService時,arrayData的資料內容樣本如下。

[
  {
    "resourceId":"DsApiDeploy/1822931104031845/workspaceId/227859/dsDeployId/1|417381955947846|1|280749521950784|227859",
    "ownerName":"ysf01115618",
    "resourceVersion":1,
    "name":"api_api",
    "dsDeployId":"1|417381955947846|1|280749521950784|227859",
    "workspaceName":"da_simple_202112",
    "id":"417381955947846",
    "type":1,
    "ownerId":"258882139554032242",
    "url":"https://ds-cn-shanghai.data.aliyun.com/?projectId=227859&type=api&id=417381955947846&version=1&defaultProjectId=227859",
    "workspaceId":"227859"
  }
]

欄位說明如下表。

欄位名稱

欄位類型

說明

resourceId

String

資源ID。

ownerName

String

資源所有者的名稱。

resourceVersion

Long

資源版本。

name

String

資源名稱。

dsDeployId

String

資料服務發布ID。

workspaceName

String

工作空間名稱。

id

String

資源唯一ID。

type

String

資源類型,取值如下:

  • 1:API。

  • 2:函數。

  • 3:服務編排。

ownerId

String

資源責任人BaseID。

url

String

資料服務連結地址。

workspaceId

String

工作空間ID。