全部產品
Search
文件中心

Data Management:資料歸檔至專屬儲存

更新時間:Dec 19, 2024

本文為您介紹如何將資料歸檔至專屬儲存中(儲存在DMS),以及刪除歸檔至專屬儲存的資料等操作。

前提條件

  • 來源資料庫類型為:

    • MySQL:RDS MySQLPolarDB MySQL版AnalyticDB MySQL 3.0

      說明

      MySQL資料庫帳號必須具有REPLICATION CLIENT許可權。

    • PostgreSQL:RDS PostgreSQLPolarDB PostgreSQL版

    • MongoDB 3.6版本及以上。

  • 來源資料庫的管控模式為穩定變更或安全協同。

    說明

    若執行個體的管控模式為穩定變更,在進行周期歸檔前,建議您為執行個體開啟安全託管或變更管控模式為安全協同,以免由於執行個體登入失效導致任務執行失敗。具體操作,請參見開啟安全託管變更管控模式

  • 需要歸檔的源表必須存在主鍵或者唯一鍵。

    說明

    建議源表中包含業務修改時間的欄位,以便將業務修改時間作為歸檔的過濾條件。

費用說明

公測階段暫不收費。若使用此功能開始收費,則會提前通知。

注意事項

  • 資料歸檔至專屬儲存無儲存量限制。

  • 如果待歸檔的源表中存在三個列聯合主鍵(即三個相互關聯的列共同構成該表的主鍵)或三個及以上的唯一鍵,可能會出現歸檔失敗的情況。建議您在歸檔前對擁有三個列聯合主鍵的源表進行充分測試,或者考慮使用DBS備份等其他歸檔方式。

  • 目前僅新加坡、印尼(雅加達)地區可使用資料歸檔功能。

資料歸檔

  1. 登入Data Management 5.0
  2. 在頂部功能表列中,選擇解決方案 > 資料歸檔

    說明

    若您使用的是極簡模式的控制台,請單擊控制台左上方的2023-01-28_15-57-17.png表徵圖,選擇全部功能 > 解決方案 > 資料歸檔

  3. 在頁面右上方,單擊資料歸檔

  4. 建立資料歸檔工單頁面,配置以下資訊:

    配置項

    是否必填

    說明

    歸檔目標

    選中專屬儲存

    來源資料庫

    搜尋並選擇來源資料庫。

    歸檔配置

    選擇需要歸檔資料的表。

    • 可選:輸入歸檔資料的過濾條件。例如,gmt_modified<='${6_month_ago}'

      說明

      如果您需要使用時間變數,例如,歸檔6個月前的資料,可以先進行變數配置

    • 可選:單擊添加,添加多個源表。

    歸檔表映射

    您可以通過歸檔表映射查看源表歸檔至專屬儲存後的表名、列和分庫鍵等歸檔表資訊。

    變數配置

    配置該變數可以在配置歸檔過濾條件時使用。例如,時間變數為6_month_ago,時間格式為yyyy-MM-dd,位移量設定為-6月。如果當前日期為2021-8-12,則變數${6_month_ago}的值為2021-02-11。配置時間變數的更多資訊,請參見配置時間變數

    後置行為

    • 若您選中清理原表已歸檔資料(delete-無鎖),則在歸檔完成後,系統將自動執行歸檔後的源表資料刪除操作,可以通過無鎖資料變更的DELETE陳述式完成。但刪除源表的同時,源庫中會產生儲存此次歸檔資料的備份暫存資料表,請保證源庫空間充足,避免空間容量不足引發執行個體不可用問題。

      清理備份暫存資料表:您可以在確認資料歸檔完成且資料無誤後,通過建立普通資料變更工單,清理源庫中的備份暫存資料表。

    • 若您未選中清理原表已歸檔資料(delete-無鎖),則需要在資料歸檔成功後,手動進行源表資料刪除和空間最佳化。

      1. 清理源表資料:通過建立普通資料變更工單清理資料庫中已歸檔的資料。建立普通資料變更工單,請參見普通資料變更

      2. 源資料表空間最佳化:通過建立無鎖變更工單完成源資料表空間最佳化。建立無鎖變更工單,請參見通過無鎖變更工單實現無鎖結構變更

    運行方式

    選擇運行方式,當前支援:

    • 單次執行:工單審核通過後,僅單次運行歸檔任務。

    • 周期調度:工單審核通過後,可根據部署的周期調度執行歸檔任務。具體配置,請參見周期調度

  5. 單擊提交申請

  6. 工單審批通過後,系統自動執行資料歸檔任務,等待歸檔任務執行完成。

    若任務執行失敗,您可在工單的執列區域,單擊操作列下的詳情,查看歸檔任務日誌,找出任務執行失敗的原因。若是由於網路或資料庫連接失敗等偶然發生的問題,您也可以單擊斷點重試,嘗試重新執行。

    說明

    歸檔後的資料格式為Parquet檔案格式,且資料量會有所壓縮。

  7. 查詢歸檔至專屬儲存的資料

恢複已歸檔資料至源庫

費用說明

該功能免費使用。

使用限制

  • 恢複到源庫的任務每次只能恢複一個,必須等待當前恢複完成後,才能執行下一個任務。

  • 僅來源資料庫類型為RDS MySQLPolarDB MySQL版AnalyticDB MySQL 3.0可使用此功能。

操作步驟

  1. 進入資料歸檔工單列表頁面,視圖選擇工單視圖

  2. 單擊目標工單視圖行操作列下的詳情

  3. 資料歸檔工單列表頁的執行地區,單擊操作列下的恢複到源庫

  4. 在對話方塊中,單擊確認

    此時歸檔的任務下會增加一個恢複的任務。系統自動執行此任務,您需要等待任務狀態從正在執行變為執行成功,此過程耗時間長度短與您恢複的資料量有關。

    重要

    執行歸檔資料恢複到源庫操作後,系統會自動在源庫中建立暫存資料表,可能會造成源庫空間不足,請您謹慎操作。

  5. 查看已恢複的資料。

    1. 在該工單詳情頁的基本資料地區,單擊變更庫名稱,在彈出的提示框上單擊查詢

    2. 雙擊目標表名稱,單擊執行

      您可在SQL Console頁面下方的執行結果地區,查看已恢複的資料。

刪除已歸檔至專屬儲存的資料

重要

刪除已歸檔資料的操作無法復原,請謹慎使用。

物理刪除單次或周期歸檔工單中已歸檔至專屬儲存的資料,可釋放資料佔用的儲存空間。

注意事項

刪除歸檔資料後,不可進行歸檔後查詢資料、恢複已歸檔資料至源庫操作。

操作步驟

  1. 進入資料歸檔工單列表頁面,視圖選擇工單視圖

  2. 選擇目標工單,單擊操作列下的詳情

  3. 進入資料歸檔工單列表頁面,在執行地區,單擊目標任務操作列下的更多 > 刪除

  4. 在彈出的對話方塊中,單擊確認

常見問題

Q:邏輯庫進行資料歸檔查詢時會將所有邏輯庫的表合并到一個物理表中嗎?

A:會。邏輯庫在進行資料歸檔時,會將所有邏輯庫的表都合并到一個物理表內,因此在歸檔視圖頁面中,查詢任意一個邏輯表就可以查詢到邏輯庫中所有表的資料。

Q:同一個工單內進行了多次歸檔,即周期歸檔,在進行資料查詢時,可以查詢指定時間段的資料歸檔嗎?

A:可以。同一個工單的周期歸檔會根據歸檔的時間產生不同時間段的歸檔資料,所以可以通過建立資料歸檔的時間,判斷並查詢指定時間段的歸檔資料。

Q:如何查詢某張表周期性歸檔的所有資料、查詢同一張表跨工單歸檔的所有資料?

A:進入邏輯數倉功能頁面,在資料來源頁簽下,選擇專屬湖倉 > archive,展開目標資料庫,雙擊目標表名或工單號,此時SQL視窗會自動填滿查詢SQL,單擊執行,可在執行結果地區查看歸檔資料。lianhechaxun

Q:在RDS資料庫歸檔至專屬預存程序中,勾選了源表資料清理後,產生的備份暫存資料表資料會佔用多少源庫空間?

A:暫存資料表資料最多會佔用源庫中已佔用空間的一倍。