大量下線無效任務或表 - DataWorks

對於資料治理過程中的無效任務或表，資料治理中心為您提供完整的下線方案，包含下線風險評估、下線通知推送、下線過程管理等全流程功能，為您解決人工識別下線風險、任務存在正常調度的下遊任務時不能下線、因無法預知風險而不敢輕易下線等問題，同時提供大量下線功能，方便統一管理和執行，為您提升下線效率。

背景資訊

與傳統直接下線操作相比，優雅下線增加了下線影響分析、下線過程管理等流程。在各個階段支援通過多種方式給相關人員發送下線任務通知。

操作	下線方式	對比	說明
步驟二：選擇下線對象	直接下線	在營運頁面尋找需要下線的任務，暫停（凍結）選中任務，然後直接下線任務。	直接下線：任務無法進行影響面與風險查看，並且有選錯任務的可能性。優雅下線：通過節點ID、血緣或表進行選擇，並且會對下線對象進行影響評估及說明。
步驟二：選擇下線對象	優雅下線	可以選擇下線對象，並評估影響面和風險，支援您手動選擇下線對象或系統自動下線對象
步驟三：配置處理流程	直接下線	無	直接下線：無法通知至任務相關人員。優雅下線：可對下線流程進行多層處理，並且每步都支援推送訊息至相關人員。
步驟三：配置處理流程	優雅下線	可以將流程的每個處理階段通過系統內提示、郵件、DingTalk群機器人和Webhook通知至指定人員。	直接下線：無法通知至任務相關人員。優雅下線：可對下線流程進行多層處理，並且每步都支援推送訊息至相關人員。
步驟四：定義計劃執行方式	直接下線	無	直接下線：一旦單擊下線後，任務對象就已經下線，無法撤銷。優雅下線：可根據不同的任務情境，選擇不同的觸發方式，給需要下線的任務留下撤銷時間。
步驟四：定義計劃執行方式	優雅下線	人工觸發步驟執行自動觸發步驟執行
步驟五：查看並管理下線計劃	直接下線	無	直接下線：直接下線選中任務，無緩衝，容易導致錯誤下線，從而導致商務程序報錯。優雅下線：讓任務下線有了緩衝區，可在發現報錯的第一時間進行取消、復原等操作。
步驟五：查看並管理下線計劃	優雅下線	可以查看已建立的下線計劃詳情，並對下線計劃中添加的各個子任務進行查看執行詳情、取消、復原等操作

使用限制

僅空間管理員、租戶級資料治理管理員/工作空間級資料治理管理員及營運人員可建立下線計劃。角色添加詳情請參見增加空間成員並管理成員角色許可權。
下線計劃僅支援添加單個工作空間下的待下線對象。
僅阿里雲主帳號、授予AliyunDataWorksFullAccess許可權的RAM使用者、空間管理員可對下線計划進行全部操作。營運人員只能操作自己建立的下線計劃，對於其他下線計劃僅擁有讀許可權。租戶級資料治理管理員/工作空間級資料治理管理員只能進行計劃的建立、配置和刪除，無法進行無許可權任務的啟動執行。
一個下線計劃中最多可添加200個下線對象。
優雅下線功能支援在下線任務步驟前對任務操作進行復原，在完成下線步驟前對錶操作進行復原。

注意事項

已經處在下線計劃中的對象不能被選擇下線（即一個對象只能存在於一個下線計劃中）。
特殊類型的對象不能被選擇下線。例如，工作空間的根節點、下線計劃所建立的虛擬節點等。
待下線對象存在下遊依賴時，若受影響的下遊對象未在規定時間內主動移除與待下線對象的調度依賴，系統將會再產生一個虛擬節點，將下遊任務掛到虛擬節點上。
各類型節點實際支援的步驟請以產品介面提示為準。
優雅下線僅可對真實下線前的操作做復原，

優雅下線操作步驟

步驟一：建立下線計劃

進入資料治理。
1. 登入DataWorks控制台，切換至目標地區後，單擊左側導覽列的資料開發與治理 > 資料開發，在下拉框中選擇對應工作空間後單擊進入資料開發。
2. 單擊頂部功能表列左側的表徵圖，選擇全部產品 > 資料治理 > 資料治理中心。
單擊頂部功能表列的治理工作台，預設進入治理項問題頁面。
單擊左側導覽列的優雅下線。
在頁面上方工作空間下拉框中選擇待下線對象所在的工作空間，下拉式清單中僅展示您已加入的工作空間。
若您需要加入某個工作空間，可聯絡該空間管理員進行添加，詳情請參見增加空間成員並管理成員角色許可權。
單擊優雅下線頁面中的建立計劃。
您還可以在治理項問題列表，對於需要下線的任務，單擊操作列的建立下線計劃，進入建立下線計劃頁面。

步驟二：選擇下線對象

配置下線對象

您可以在下線對象地區，根據需求選擇下線對象，包括發行的任務或表：

下線任務：支援通過添加下線對象或通過血緣匯入兩種方式添加下線任務。
- 添加下線對象：根據任務節點ID新增工作對象。
- 通過血緣匯入：選擇某一任務，按照血緣層級進行圈選相應任務。
  說明
  - 任務節點ID可在任務配置頁面開啟調度配置中的基礎屬性模組尋找到。
  - 任務節點ID也可以在營運頁面周期任務營運 > 周期任務頁面查看。
下線表：支援添加下線對象添加下線表。

說明

已經處在下線計劃中的對象不能被選擇下線（即一個對象只能存在於一個下線計劃中）。
特殊類型的對象不能被選擇下線。例如，工作空間的根節點、下線計劃所建立的虛擬節點等。

下線對象主要資訊說明

資訊名	說明
下線影響評估	低：表或任務近一月內的產出表未被消費使用。高：表或任務節點近一月內的產出表被消費使用。
影響項說明	對下線影響評估進行說明。
產出表被消費	任務對象的產出表消費情況。
表產出任務	表對象的產出任務，單擊可彈出任務資訊。
影響基準數/最高等級	表對象產出任務的基準數與基準最高等級。任務對象的基準數與基準最高等級。說明任務基準監控詳情可參見基準管理。

步驟三：配置處理流程

在添加完下線對象後，您可以對整體的下線流程進行精細化的配置，包括啟動下線、延遲調度、暫停調度、下線任務、重新命名產出表、重設定表生命週期、刪除產出表、完成下線共八個階段。

流程項	流程說明	情境推薦
啟動下線	用於啟動優雅下線任務，該流程預設勾選，不可取消。
延遲調度	用於將待下線對象的定時時間延長，讓待下線對象及其下遊對象產出的表資料延遲產出。	上遊平台資料未產生情境下延遲調度，保證任務正常運行。
暫停調度	用於將待下線對象的狀態設定為暫停（凍結），即在營運中心 > 周期任務介面中的該任務置為凍結狀態，待下線對象及其下遊對象將不再產出表資料。	某業務暫停但流程需要保留的情境下，可暫停調度。
下線任務	用於將需要下線的對象進行下線處理，第二天不再產生執行個體，已產生的執行個體調度類型都會被置為空白跑，不會再運行。預設勾選，可取消。	某節點或某流程不再使用的情境下使用。
重新命名產出表	對任務對象或表對象的產出表進行重新命名。	對象下線後，但需要確保產出資料表可辨認出資料表已下線對象的產出表情境下使用。
重設定表生命週期	對任務對象或表對象的產出表重新設定生命週期。	對象下線後，但需要保留產出表一段時間的情境下使用。說明僅支援MaxCompute表。
刪除產出表	刪除任務對象或表對象的產出表。	對象下線後，不再需要產出表的情境下使用。
完成下線	用於結束優雅下線任務，該流程預設勾選，不可取消。

說明

優雅下線計劃流程會按順序依次執行，每一階段均支援您自主選擇是否執行該階段，若您不勾選某步驟，將預設跳過該步驟執行，直接進入下一階段。
優雅下線計劃支援系統內提示、郵件、DingTalk機器人等方式發送給指定人員。DingTalk機器人的相關配置，詳情請參見：情境實踐：發送警示訊息至DingTalk群。系統內提示資訊，請前往資料治理中心 > 治理工作台 > 我的待辦 > 治理提醒頁面進行查看。

步驟四：定義計劃執行方式

設定下線計劃各個階段執行方式，您可選擇人工觸發步驟執行或自動觸發步驟執行。

人工觸發步驟執行。
- 說明：下線流程的每一個步驟，需要下線計劃建立者人工確認後，才能進入下一個步驟。
- 使用情境推薦：該商務程序任務或資料表在商務程序中較關鍵的情況下使用。
自動觸發步驟執行。
- 說明：下線流程的每一個步驟，按照配置的靜默時間，到期後，進入下一個步驟。
- 使用情境推薦：需要大大量下線商務程序，且商務程序重要性較低的情況下使用。

步驟五：查看並管理下線計劃

您可以在優雅下線介面查看下線計劃列表，並可執行、取消或刪除下線計劃中的全部對象。

說明

取消下線計劃，僅取消執行中的任務，已完成下線的任務不受影響。
刪除下線計劃時，系統將先取消執行中的任務，已完成下線的任務不受影響，取消成功後將會刪除該下線計劃。刪除後該操作無法復原。

您還可以單擊操作列的執行詳情查看下線計劃的配置詳情，同時，您可以對下線計劃中的單個下線任務進行如下操作：

功能	說明
查看執行詳情	查看單個任務下線詳情，包括流程執行進度、狀態及各流程執行詳情，同時您還可以對當前任務的下線流程進行取消、復原等操作。取消任務：您可以取消當前任務下線流程中未完成的步驟。復原任務：您可以將當前任務的所有下線步驟復原到初始狀態，不支援單個步驟的復原操作。說明如果下線計劃已取消，則不支援復原操作。如果子步驟在執行中，則不支援復原操作。下線任務步驟後不可以復原任務，優雅下線計劃完成後不可以進行復原操作。
前往營運	快速進入生產營運中心，查看任務的營運詳情。
前往編輯	快速進入資料開發介面，編輯任務。

附錄：優雅下線最佳實務

優雅下線為發行任務下線提供了更便捷的方式，此附錄將以DataWorks巨量資料體驗 > ETL工作流程範本 > 網站使用者行為分析模板為例為您示範任務優雅下線和表優雅下線的實踐教程。

前提條件

DataWorks已建立標準空間。
空間內已綁定MaxCompute資料來源。

步驟一：準備商務程序（可選）

準備網站使用者行為分析任務流程（可選）

本步驟旨在快速建立一個已上線的商務程序，如果您已經擁有已上線的任務，可忽略此步驟。

添加商務程序。
1. 登入DataWorks控制台，點擊左側導覽列的巨量資料體驗 > ETL工作流程範本，進入ETL工作流程範本頁面。
2. 在ETL工作流程範本頁面選擇網站使用者行為分析商務程序，單擊查看詳情進入模板頁面，然後單擊載入模板。
3. 在載入模板面板內，選擇對應的工作空間，MaxCompute配置內選擇資料來源名稱下拉框選擇商務程序所需工作空間，並選擇對應的調度資源群組與整合資源群組。
4. 載入方式選擇同名覆蓋，發布規則可直接勾選自動發布。
查看商務程序。
1. 所有任務匯入成功後，可單擊前往查看來查看已導空間的網站使用者行為分析工作流程。
2. 確認任務完全匯入後，在頁面上部菜單中切換至營運中心 > 周期任務營運 > 周期任務頁面，確認匯入的網站使用者行為分析商務程序是否發行。

步驟二：建立優雅下線計劃

確保當前空間內已有發布任務，或已完成步驟一：準備商務程序（可選），可以進行下線操作。

目標。
將網站使用者行為分析商務程序整個商務程序下線，並刪除生產環境業務產出的表。
進入優雅下線。
1. 在DataWorks空間內，單擊左上方開啟菜單，選擇資料治理 > 資料治理中心進入治理評估頁面。
2. 在治理評估頁面單擊頁面上方菜單的治理工作台切換，然後單擊自動化治理 > 優雅下線進入優雅下線頁面。

優雅下線基本配置。

此處建立優雅下線將下線步驟一：準備商務程序（可選）準備的網站使用者行為分析商務程序，或下線您在當前空間內的發行的流程或任務。以下操作步驟以下線網站使用者行為分析商務程序為例，採用通過血緣匯入和表下線的進行展示。

單擊建立計劃進入詳情配置頁面，以下為詳情配置的詳細說明：

模組	配置項		配置內容		圖例
基礎資訊	工作空間		選擇匯入網站使用者行為分析商務程序的空間或需要下線任務的空間。說明僅展示您為管理員和營運角色的工作空間
	計劃名稱		為優雅下線計劃自訂命名。
	計劃描述		為優雅下線計劃添加描述。
下線對象	任務	添加下線對象	單擊添加下線對象後會出現新增工作對話方塊，在對話方塊內可以使用任務ID來尋找您需要下線的對象。
		通過血緣匯入	單擊通過血緣匯入後會出現新增工作對話方塊，在對話方塊內可配置以下內容來選擇任務。任務：選擇需要下線的任務。本案例需要下線網站使用者行為分析整個商務程序，所以可以選擇該任務的根節點任務。血緣類型：勾選任務血緣。圈選層級：可按照當前任務層級選擇。說明圈選層級最高支援6級。配置好內容後，單擊搜尋，可以搜尋到圈選的所有任務，可以檢查是否都是需要下線的任務，然後單擊確認儲存圈選記錄。
	表	添加下線對象	資料來源類型：MaxCompute。	專案：生產環境所綁定的MaxCompute專案。表名：生產環境專案內的表名。責任人：僅展示您具備工作空間管理員角色的工作空間下的成員。可輸入文字搜尋更多使用者。是否有產出任務：所選表是否有產出任務。基準任務產出表：填寫基準等級，0代表無基準。
			資料來源類型：E-MapReduce。	叢集：生產環境所綁定的EMR叢集。資料庫：叢集下的資料庫。表名：生產環境專案內的表名。責任人：僅展示您具備工作空間管理員角色的工作空間下的成員。可輸入文字搜尋更多使用者。是否有產出任務：所選表是否有產出任務。

本案例以任務和表的方式，通過任務 > 通過血緣匯入和表 > 添加下線對象，全自動觸發步驟執行進行下線。

建立任務下線對象和表下線對象

在下線對象模組選擇任務 > 通過血緣匯入選擇網站使用者行為分析流程的所有任務後，單擊確認即可進入下一步處理流程的配置。

配置項	配置內容
任務	選擇網站使用者行為分析商務程序的虛擬父節點使用者行為分析案例說明。
圈選層級	選擇6級，以搜尋到網站使用者行為分析商務程序的所有節點。

圈選需要下線的任務的節點，單擊確定，添加所選任務節點。

在下線對象模組選擇表 > 添加下線對象選擇建立的網站使用者行為分析商務程序中的表名，單擊確認後即可進入下一步。

以網站使用者行為分析中建立的ods_user_info_d表為例。

配置項	配置內容
資料來源類型	MaxCompute。
專案	DataWorks空間中綁定的生產環境的MaxCompute專案。
表名	填寫在網站使用者行為分析中建立的`ods_user_info_d`表。說明如需要多選表，可用`,`隔開各個表明即可。

單擊搜尋後，即可搜尋到生產環境下的ods_user_info_d，勾選該表，單擊確認即可。

配置處理流程。
添加下線對象後處理，即可配置處理流程。處理流程按順序進行啟動下線、延遲調度、暫停調度、下線任務、重新命名產出表、重設定表生命週期、刪除產出表、完成下線。可根據您對業務的需求進行配置，必配置內容可參見操作步驟中的步驟三：配置處理流程。
- 啟動下線為預設勾選，是啟動優雅下線的步驟。
- 勾選下線任務，並配置發送通知與通知人員，以及靜默時間長度。
- 勾選重設定表生命週期，配置調整表的生命週期，並配置發送通知與通知人員，以及靜默時間長度。
- 勾選刪除產出表，並配置發送通知與通知人員。
- 完成下線為預設勾選。
說明
- 下線任務：流程為預設勾選，若下線對象為表時，則為下線該輸出表對應的節點任務。
- 重設定表生命週期：只有在下線對象為MaxCompute表的情況下可勾選，EMR表不支援重設定表生命週期。
- 靜默時間長度：
  - 說明：當前階段執行後，等待多長時間可進行下一步操作。以暫停調度為例，任務暫停調度到達靜默時間長度後，才可進行下一步操作。
  - 推薦情境：對象下線的每一個階段需要所有通知人員知曉的情況。
配置執行方式。
執行方式共有以下兩種選擇，本案例選擇全自動觸發步驟執行。
- 人工觸發步驟執行：下線流程的每一個步驟，需要計劃建立者人工確認執行後，才能進入下一個步驟。
- 全自動觸發步驟執行：下線流程的每一個步驟，按照配置的靜默時間長度，到期後，進入下一個步驟。
完成建立。
完成建立方式共有兩種選擇，本案例選擇建立。
- 建立：建立優雅下線計劃，並自動跳轉至執行詳情頁面，手動勾選需要下線任務，單擊批量執行，執行下線計劃。
- 建立並執行：建立優雅下線計劃，並自動跳轉至執行詳情頁面，開始執行。

步驟三：查看優雅下線計劃執行詳情

進入優雅下線。
1. 在DataWorks空間內，單擊左上方開啟菜單，選擇資料治理 > 資料治理中心進入治理評估頁面。
2. 在治理評估頁面單擊頁面上方菜單的治理工作台切換，然後單擊自動化治理 > 優雅下線進入優雅下線頁面。
查看計劃執行詳情。
已建立計劃可根據計劃名稱、建立人、計劃狀態、治理物件類型以及我建立的計劃來查詢已有的下線計劃。
1. 根據過濾條件找到已建立的網站使用者行為分析優雅下線計劃，在操作列可以看到以下操作項。
  - 執行詳情：跳轉至該計劃執行詳情頁面。
  - 執行：開始執行所選優雅下線計劃。
  - 取消：取消所選優雅下線計劃的執行。
  - 刪除：刪除所選計劃。
2. 單擊網站使用者行為分析優雅下線計劃操作列的執行詳情，跳轉至該計劃詳情頁面。
執行詳情
執行詳情內可查看網站使用者行為分析優雅下線計劃的計劃資訊、下線流程、下線對象。
- 計劃資訊：展示所選優雅下線計劃的工作空間、建立人、建立時間、下線類型、任務個數、下線狀態、流程執行方式和快照時間資訊。
- 下線流程：展示流程中各個流程階段的任務數量。
- 下線對象：
  展示下線計劃中所有任務的序號、任務ID、任務名稱、影響項說明、產出表個數、執行進度、執行步驟、步驟狀態、責任人、影響基準數/最高等級、直接下遊、正常調度下遊、跨工作空間下遊、任務類型、整體狀態等資訊。
  在操作列給出了單個任務的三項操作
  - 執行詳情：跳轉至該任務的流程詳情頁面，可查看流程各個步驟的詳細資料，以及復原任務、取消任務、以及對流程步驟進行重試或跳過當前步驟。
  - 前往營運：跳轉至該任務的生產環境營運介面。
    說明
    已完成下線的任務不會再在生產環境營運介面展示。
    下線對象為表時，沒有前往營運操作按鈕。
  - 取消：取消該任務的下線流程。