全部產品
Search
文件中心

DataWorks:建立和查看DataWorks匯出任務

更新時間:Dec 06, 2024

遷移助手支援匯出周期任務、手動任務、資源、函數、表中繼資料、資料來源、組件、臨時查詢、資料服務和資料品質等對象,本文為您介紹如何建立和查看匯出任務。

背景資訊

遷移助手支援通過全量匯出增量匯出自選匯出等方式匯出任務。不同匯出類型的使用情境如下:

  • 全量匯出適用於全量備份工作空間中的任務,主要用於備份代碼、快速複製一個測試環境等情境。全量匯出的版本為開發過程中最新的版本。

    全量匯出僅支援匯出儲存成功的對象。當同一個任務有開發和生產等多個版本時,以開發側儲存的版本為主進行全量匯出,操作詳情請參見下文的建立全量匯出任務

  • 增量匯出基於對象的最後修改時間,篩選最近修改過的對象並匯出,操作詳情請參見下文的建立增量匯出任務

    說明

    增量匯出不支援選擇匯出黑名單。

  • 自選匯出適用於抽象出通用的商務程序,以便其它業務快速複製。在開發和生產叢集完全隔離的狀態下,您可以通過自選匯出功能,完成類似於發布任務的操作,操作詳情請參見下文的建立自選匯出任務

使用限制

  • 當前不同版本的DataWorks遷移助手在進行DataWorks遷移時,支援的策略如下表。

    DataWorks遷移功能描述

    基礎版

    標準版

    專業版

    企業版

    租戶內支援的DataWorks匯出包個數

    說明

    若匯出包個數超過版本限制,您只能通過升級版本擷取更多匯出包數量,不支援付費購買匯出包個數。

    累計10個

    累計30個

    累計100個

    無上限

    DataWorks匯入包大小限制

    本地檔案上傳

    30 M

    30 M

    30 M

    30 M

    OSS檔案上傳

    不支援

    不支援

    無限制

    無限制

    DataWorks匯入時是否支援自動認可、自動發布

    不支援

    不支援

    支援

    支援

  • 僅主帳號和工作空間管理員能夠進行匯入和匯出操作,其他角色成員僅支援查看匯入、匯出工作清單,無操作許可權。

  • 進行資料品質規則匯出與匯入時,有以下注意事項:

    • 匯出資料品質規則時,訂閱管理(警示相關配置)不支援匯出。

    • 匯入的資料品質規則關聯的表如果在目標空間不存在,則在資料品質規則頁面上不會展示出這條匯入的規則,如果在匯入資料品質規則後完成目標表建立,那麼同樣會在表的規則詳情頁展示出這條匯入的規則。

    • 資料品質匯入步驟會依賴周期任務匯入步驟成功才會執行,因為同一個匯入包裡面如果同時有資料品質規則和關聯的調度節點資訊,您需要先把關聯的節點先匯入目標空間且成功提交發布了,才能將調度節點和正確的品質規則關聯上。

    • 如果只單獨匯入資料品質,不匯入關聯的調度節點,那資料品質依然會匯入成功,只是沒有關聯調度節點的資訊。後續把關聯調度節點資訊匯入提交發布後,重新匯入資料品質規則後,DataWorks會重新更新資料品質規則並關聯上調度節點。

進入遷移助手

  1. 登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資料開發與治理 > 資料開發,在下拉框中選擇對應工作空間後單擊進入資料開發

  2. 單擊左上方的表徵圖表徵圖,選擇全部產品 > 更多 > 遷移助手,進入遷移助手首頁

建立全量匯出任務

  1. DataWorks匯出頁面,單擊右上方的建立匯出任務

  2. 建立匯出任務對話方塊中,配置各項參數。

    匯出

    參數

    描述

    匯出名稱

    匯出名稱僅支援大小寫字母、中文、數字、底線和小數點。

    匯出類型

    選擇全量匯出時,您可以結合下面的匯出範圍的配置,匯出選擇對象的全量內容。

    匯出範圍匯出對象

    匯出範圍支援:

    • 匯出全部對象:選擇匯出全部對象後,則後續會直接匯出當前工作空間下的全部對象,包括:周期任務、手動任務、資源、函數、表DDL、資料來源、資料服務、臨時查詢、組件、資料品質校正規則。

    • 自選匯出對象:選擇自選匯出對象後,您可以根據需要,在下方匯出對象的下拉框中選擇需要全量匯出的對象,例如周期任務、資源、資料服務等。

    匯出對象狀態

    您可以選擇需要匯出哪種狀態下的對象內容:

    • 儲存:匯出已儲存的匯出對象內容。

    • 提交:匯出已提交的匯出對象內容。

    • 發布:匯出發行的匯出對象內容。

    黑名單

    您可以根據業務需求決定是否選中添加黑名單,以篩選全量匯出過程中無需匯出的任務和資源。

    匯出版本格式

    包括公用雲專有雲(V3.12及以上)專有雲(V3.6.1-V3.11)。DataWorks上不同版本的資料格式不一致,請先確認待匯入環境中DataWorks的版本。

    備忘

    對匯出任務進行簡單描述。

  3. 可選:添加黑名單並匯出任務。

    如果您選中添加黑名單,請執行下述操作:

    1. 建立匯出任務對話方塊中,單擊添加黑名單

    2. 選擇黑名單頁面,選擇無需匯出的對象。

    3. 單擊添加到黑名單

    4. 單擊頁面右上方的開始匯出

    5. 匯出確認對話方塊中,單擊確認

  4. 可選:如果您未選中添加黑名單,請直接單擊開始匯出

  5. 匯出進度對話方塊中,查看任務的匯出進度。待匯出成功後,單擊返回匯出工作清單

建立增量匯出任務

  1. DataWorks匯出頁面,單擊右上方的建立匯出任務

  2. 建立匯出任務對話方塊中,配置各項參數。

    增量匯出

    參數

    描述

    匯出名稱

    匯出名稱僅支援大小寫字母、中文、數字、底線和小數點。

    匯出類型

    選擇增量匯出,您將匯出指定日期後修改的檔案,包括已儲存、已提交的周期任務、手動任務、表中繼資料和資料來源。

    匯出範圍匯出對象

    • 匯出全部對象:選擇匯出全部對象後,則後續會直接匯出當前工作空間下的全部對象,包括:周期任務、手動任務、資源、函數、表DDL、資料來源、資料服務、臨時查詢、組件、資料品質校正規則。

    • 自選匯出對象:選擇自選匯出對象後,您可以根據需要,在下方匯出對象的下拉框中選擇需要全量匯出的對象,例如周期任務、資源、資料服務等。

    匯出對象狀態

    您可以選擇需要匯出哪種狀態下的對象內容:

    • 儲存:匯出已儲存的匯出對象內容。

    • 提交:匯出已提交的匯出對象內容。

    • 發布:匯出發行的匯出對象內容。

    修改日期

    按照最後修改的時間進行增量。

    匯出版本格式

    包括公用雲專有雲(V3.12及以上)專有雲(V3.6.1-V3.11)

    備忘

    對匯出任務進行簡單描述。

  3. 單擊開始匯出

建立自選匯出任務

  1. DataWorks匯出頁面,單擊右上方的建立匯出任務

  2. 建立匯出任務對話方塊中,配置各項參數。

    自選匯出

    參數

    描述

    匯出名稱

    匯出名稱僅支援大小寫字母、中文、數字、底線和小數點。

    匯出類型

    選擇自選匯出,您可以自由選擇需要匯出的檔案,包括已儲存、已提交的周期任務、手動任務、表中繼資料和資料來源。

    匯出版本格式

    包括公用雲專有雲(V3.12及以上)專有雲(V3.6.1-V3.11)

    備忘

    對匯出任務進行簡單描述。

  3. 單擊選擇匯出內容

  4. 自選匯出列表頁面,根據匯出對象的類型篩選需要匯出的對象。

    遷移助手支援的匯出對象包括:周期任務資源手動任務函數資料品質資料服務資料來源組件臨時查詢匯出對象

  5. 選中需要匯出的對象後,單擊添加至匯出包

    您也可以根據匯出對象物件類型對象名稱等條件進行篩選,單擊篩選結果添加到匯出包,添加篩選的所有結果。

  6. 單擊頁面右上方的開始匯出

任務狀態

匯出工作清單頁面,您可以查看匯出任務的匯出任務名稱匯出類型任務建立人狀態更新時間備忘等資訊,不同狀態的任務可以進行不同的操作:

  • 當匯出任務的狀態匯出成功時,您可以:

    • 單擊查看匯出報告,查看匯出任務的基本資料概覽明細查看匯出報告

    • 單擊下載匯出包,下載匯出任務至本地。

      說明

      下載連結有效期間為30天,請及時下載檔案至本地。超期後連結將失效,您需重新執行匯出操作。

    • 複製不同匯出類型的任務:

      • 單擊匯出類型全量匯出,且未添加黑名單任務後的複製。在複製對話方塊中,輸入匯出名稱,單擊開始匯出

      • 單擊匯出類型全量匯出,且已添加黑名單任務後的複製。在複製對話方塊中,輸入匯出名稱,單擊添加黑名單

        選擇黑名單頁面,選擇無需匯出的對象,單擊添加到黑名單後,單擊頁面右上方的開始匯出

      • 單擊匯出類型自選匯出任務後的複製。在複製對話方塊中,輸入匯出名稱,單擊選擇匯出內容

        自選匯出列表頁面,選擇需要匯出的對象,單擊添加至匯出包後,單擊頁面右上方的開始匯出

  • 當匯出任務的狀態匯出失敗時,除查看匯出報告下載匯出包外,您還可以單擊重試,重新匯出任務。

  • 當匯出任務的匯出類型自選匯出狀態編輯中時,您可以:

    • 單擊編輯,在任務的編輯頁面根據匯出任務類型進行不同的操作。

    • 單擊查看匯出包,在匯出包詳情頁面查看匯出任務的基本資料概覽明細

    • 單擊刪除,在刪除對話方塊中,單擊確認

  • 當匯出任務的匯出類型全量匯出狀態編輯中時,除可以編輯刪除匯出任務外,您還可以單擊查看黑名單。在黑名單預覽對話方塊中,確認添加的黑名單,單擊開始匯出關閉