全部產品
Search
文件中心

DataWorks:優雅下線

更新時間:Dec 05, 2024

對於資料治理過程中的無效任務或表,資料資產治理為您提供完整的下線方案,包含下線風險評估、下線通知推送、下線過程管理等全流程功能,為您解決人工識別下線風險、任務存在正常調度的下遊任務時不能下線、因無法預知風險而不敢輕易下線等問題,同時提供大量下線功能,方便統一管理和執行,為您提升下線效率。

背景資訊

與傳統直接下線操作相比,優雅下線增加了下線影響分析、下線過程管理等流程。在各個階段支援通過多種方式給相關人員發送下線任務通知。

操作

下線方式

對比

說明

選擇下線對象

直接下線

在營運頁面尋找需要下線的任務,暫停(凍結)選中任務,然後直接下線任務。

任務無法進行影響面與風險查看,並且有選錯任務的可能性。

優雅下線

可以選擇下線對象,並評估影響面和風險,支援您手動選擇下線對象或系統自動下線對象

通過節點ID、血緣或表進行選擇,並且會對下線對象進行影響評估及說明。

配置處理流程

直接下線

無法通知至任務相關人員。

優雅下線

可以將流程的每個處理階段通過系統內提示郵件DingTalk群機器人Webhook通知至指定人員。

可對下線流程進行多層處理,並且每步都支援推送訊息至相關人員。

定義計劃執行方式

直接下線

一旦單擊下線後,任務對象就已經下線,無法撤銷。

優雅下線

  • 人工觸發步驟執行

  • 自動觸發步驟執行

可根據不同的任務情境,選擇不同的觸發方式,給需要下線的任務留下撤銷時間。

查看並管理下線計劃

直接下線

直接下線選中任務,無緩衝,容易導致錯誤下線,從而導致商務程序報錯。

優雅下線

可以查看已建立的下線計劃詳情,並對下線計劃中添加的各個子任務進行查看執行詳情、取消、復原等操作

讓任務下線有了緩衝區,可在發現報錯的第一時間進行取消、復原等操作。

使用限制

  • 下線計劃僅支援添加單個工作空間下的待下線對象。

  • 一個下線計劃中最多可添加200個下線對象。

  • 優雅下線功能支援在下線任務步驟前對任務操作進行復原,在完成下線步驟前對錶操作進行復原。

許可權控制

  • 建立下線計劃需要具備如下許可權之一:

    • 阿里雲主帳號

    • 授予AliyunDataWorksFullAccess許可權的RAM使用者

    • 空間管理員

    • 租戶級資料治理管理員

    • 工作空間級資料治理管理員

    • 營運人員

  • 僅阿里雲主帳號、授予AliyunDataWorksFullAccess許可權的RAM使用者、空間管理員可對下線計划進行全部操作。

  • 營運人員只能操作自己建立的下線計劃,對於其他下線計劃僅擁有讀許可權。

  • 租戶級資料治理管理員、工作空間級資料治理管理員只能進行計劃的建立、配置和刪除,無法進行無許可權任務的啟動執行。

注意事項

  • 已經處在下線計劃中的對象不能被選擇下線(即一個對象只能存在於一個下線計劃中)。

  • 特殊類型的對象不能被選擇下線。例如,工作空間的根節點、下線計劃所建立的虛擬節點等。

  • 待下線對象存在下遊依賴時,若受影響的下遊對象未在規定時間內主動移除與待下線對象的調度依賴,系統將會再產生一個虛擬節點,將下遊任務掛到虛擬節點上。

  • 各類型節點實際支援的步驟請以產品介面提示為準。

  • 優雅下線僅可對真實下線前的操作做復原。

操作步驟

步驟一:建立下線計劃

  1. 進入資料資產治理。

    登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資料開發與治理 > 資料資產治理,然後在右側單擊進入資料資產治理

  2. 單擊左側導覽列的治理 > 自動化治理 > 優雅下線,進入優雅下線頁面。

  3. 在頁面上方工作空間下拉框中選擇待下線對象所在的工作空間,下拉式清單中僅展示您已加入的工作空間。

    若您需要加入某個工作空間,可聯絡該空間管理員進行添加,詳情請參見增加空間成員並管理成員角色許可權

  4. 單擊優雅下線頁面中的建立計劃

    您還可以在處理治理工作項目頁面,對於需要下線的任務或表,單擊操作列的建立下線計劃,進入建立下線計劃頁面。

步驟二:選擇下線對象

1. 配置下線計劃基本資料

您可以指定待下線對象所在的工作空間,並自訂計劃名稱

2. 配置下線對象

您可以在下線對象地區,根據需求選擇下線對象,包括發行的任務

  • 下線任務:支援通過添加下線對象通過血緣匯入兩種方式添加下線任務。

    • 添加下線對象:根據任務節點ID新增工作對象。

    • 通過血緣匯入:選擇某一任務,按照血緣層級進行圈選相應任務。

      說明
      • 任務節點ID可在任務配置頁面開啟調度配置中的基礎屬性模組尋找到。

      • 任務節點ID也可以在營運頁面周期任務營運 > 周期任務頁面查看。

  • 下線表:支援添加下線對象添加下線表。

說明
  • 已經處在下線計劃中的對象不能被選擇下線(即一個對象只能存在於一個下線計劃中)。

  • 特殊類型的對象不能被選擇下線。例如,工作空間的根節點、下線計劃所建立的虛擬節點等。

資訊名

說明

下線影響評估

  • :表或任務近一月內的產出表未被消費使用。

  • :表或任務節點近一月內的產出表被消費使用。

影響項說明

對下線影響評估進行說明。

產出表被消費

任務對象的產出表消費情況。

表產出任務

表對象的產出任務,單擊可彈出任務資訊。

影響基準數/最高等級

  • 表對象產出任務的基準數與基準最高等級。

  • 任務對象的基準數與基準最高等級。

說明

任務基準監控詳情可參見基準管理

步驟三:配置處理流程

在添加完下線對象後,您可以對整體的下線流程進行精細化的配置,包括啟動下線延遲調度暫停調度下線任務重新命名產出表重設定表生命週期刪除產出表完成下線共八個階段。

流程項

流程說明

情境推薦

啟動下線

用於啟動優雅下線任務,該流程預設勾選,不可取消。

-

延遲調度

用於將待下線對象的定時時間延長,讓待下線對象及其下遊對象產出的表資料延遲產出。

上遊平台資料未產生情境下延遲調度,保證任務正常運行。

暫停調度

用於將待下線對象的狀態設定為暫停(凍結),即在營運中心 > 周期任務介面中的該任務置為凍結狀態,待下線對象及其下遊對象將不再產出表資料。

某業務暫停但流程需要保留的情境下,可暫停調度。

下線任務

用於將需要下線的對象進行下線處理,第二天不再產生執行個體,已產生的執行個體調度類型都會被置為空白跑,不會再運行。預設勾選,可取消。

某節點或某流程不再使用的情境下使用。

重新命名產出表

對任務對象或表對象的產出表進行重新命名。

對象下線後,但需要確保產出資料表可辨認出資料表已下線對象的產出表情境下使用。

重設定表生命週期

對任務對象或表對象的產出表重新設定生命週期。

對象下線後,但需要保留產出表一段時間的情境下使用。

說明

僅支援MaxCompute表。

刪除產出表

刪除任務對象或表對象的產出表。

對象下線後,不再需要產出表的情境下使用。

完成下線

用於結束優雅下線任務,該流程預設勾選,不可取消。

-

說明
  • 優雅下線計劃流程會按順序依次執行,每一階段均支援您自主選擇是否執行該階段,若您不勾選某步驟,將預設跳過該步驟執行,直接進入下一階段。

  • 優雅下線計劃支援系統內提示郵件DingTalk機器人等方式發送給指定人員。DingTalk機器人的相關配置,詳情請參見:情境實踐:發送警示訊息至DingTalk群。系統內提示資訊,請前往資料治理中心 > 治理工作台 > 我的待辦 > 治理提醒頁面進行查看。

步驟四:定義計劃執行方式

設定下線計劃各個階段執行方式,您可選擇人工觸發步驟執行自動觸發步驟執行

  • 人工觸發步驟執行

    • 說明:下線流程的每一個步驟,需要下線計劃建立者人工確認後,才能進入下一個步驟。

    • 使用情境推薦:該商務程序任務或資料表在商務程序中較關鍵的情況下使用。

  • 自動觸發步驟執行

    • 說明:下線流程的每一個步驟,按照配置的靜默時間,到期後,進入下一個步驟。

    • 使用情境推薦:需要大大量下線商務程序,且商務程序重要性較低的情況下使用。

步驟五:查看並管理下線計劃

您可以在優雅下線介面查看下線計劃列表,並可執行取消刪除下線計劃中的全部對象。

說明
  • 取消下線計劃,僅取消執行中的任務,已完成下線的任務不受影響。

  • 刪除下線計劃時,系統將先取消執行中的任務,已完成下線的任務不受影響,取消成功後將會刪除該下線計劃。刪除後該操作無法復原。

您還可以單擊操作列的執行詳情查看下線計劃的配置詳情,同時,您可以對下線計劃中的單個下線任務進行如下操作:

功能

說明

查看執行詳情

查看單個任務下線詳情,包括流程執行進度、狀態及各流程執行詳情,同時您還可以對當前任務的下線流程進行取消、復原等操作。

  • 取消任務:您可以取消當前任務下線流程中未完成的步驟。

  • 復原任務:您可以將當前任務的所有下線步驟復原到初始狀態,不支援單個步驟的復原操作。

    說明
    • 如果下線計劃已取消,則不支援復原操作。

    • 如果子步驟在執行中,則不支援復原操作。

    • 下線任務步驟後不可以復原任務,優雅下線計劃完成後不可以進行復原操作。

前往營運

快速進入生產營運中心,查看任務的營運詳情。

前往編輯

快速進入資料開發介面,編輯任務。