全部產品
Search
文件中心

Data Management:資料歸檔至AnalyticDB for MySQL 3.0

更新時間:Dec 06, 2024

本文為您介紹將資料歸檔至雲原生數倉AnalyticDB MySQL版 3.0的操作步驟。

前提條件

  • 支援如下類型的來源資料庫:

    • MySQL類型:RDS MySQLPolarDB MySQL版AnalyticDB MySQL 3.0

    • PostgreSQL類型:RDS PostgreSQLPolarDB PostgreSQL版

    • PolarDB-X 2.0。

    說明

    MySQL資料庫帳號必須具有REPLICATION CLIENT許可權。

  • 已購買AnalyticDB MySQL 3.0執行個體。購買操作,請參見建立叢集

  • 需要歸檔的源表必須存在主鍵或者唯一鍵。

    說明

    建議源表中包含修改時間的欄位,以便將業務修改時間作為歸檔的過濾條件。

注意事項

  • 若在資料歸檔過程中選擇了自動清理源庫表資料,請注意源庫資料表空間的預留情況,避免由於空間不足導致歸檔過程中出現異常。

    例如您需要歸檔90 GB的表資料,那麼您源庫資料表空間也需要預留至少90 GB。

  • 源庫和目標庫的管控模式均為安全協同或穩定變更,才可執行循環歸檔任務。若您僅需要單次執行歸檔任務,則不限制資料庫的管控模式。

    說明

    若執行個體的管控模式均為穩定變更,在進行周期歸檔前,建議您為執行個體開啟安全託管或變更管控模式為安全協同,以免由於執行個體登入失效導致任務執行失敗。具體操作,請參見開啟安全託管變更管控模式

  • 若歸檔目標為AnalyticDB for MySQL湖倉版3.0時,需保證執行個體的計算預留資源不為0,否則會導致資料歸檔失敗。湖倉版擴縮容的具體操作,請參見湖倉版擴縮容

  • 目前僅新加坡、印尼(雅加達)地區可使用資料歸檔功能。

費用說明

購買AnalyticDB MySQL 3.0執行個體的費用。相關費用資訊,請參見數倉版(3.0)產品定價湖倉版產品定價

資料歸檔

  1. 登入Data Management 5.0
  2. 在頂部功能表列中,選擇解決方案 > 資料歸檔

    說明

    若您使用的是極簡模式的控制台,請單擊控制台左上方的2023-01-28_15-57-17.png表徵圖,選擇全部功能 > 解決方案 > 資料歸檔

  3. 在頁面右上方,單擊資料歸檔

  4. 建立資料歸檔工單頁面,配置工單資訊。

    配置項

    是否必填

    說明

    任務名

    請輸入明確、清晰的任務名,以減少溝通成本。

    歸檔目標

    選中AnalyticDB for MySQL 3.0

    ADB執行個體

    搜尋並選擇目標AnalyticDB MySQL 3.0執行個體。

    來源資料庫

    搜尋並選擇來源資料庫。

    歸檔配置

    • 可選:輸入歸檔資料的過濾條件。例如,gmt_modified<='${6_month_ago}'

      說明

      如果您需要使用時間變數,例如,歸檔6個月前的資料,可以先進行變數配置

    • 可選:單擊添加,添加多個源表。

    歸檔表映射

    您可以單擊表名操作列下的編輯,編輯源表歸檔到目標庫後的表名、列資訊、分庫鍵和分區鍵。

    變數配置

    配置該變數可以在配置歸檔過濾條件時使用。例如,時間變數為6_month_ago,時間格式為yyyy-MM-dd,位移量設定為-6月。如果當前日期為2021-8-12,則變數${6_month_ago}的值為2021-02-11。配置時間變數的更多資訊,請參見配置時間變數

    後置行為

    • 若您選中清理原表已歸檔資料(delete-無鎖),則在歸檔完成後,系統將自動執行歸檔後的源表資料刪除操作,可以通過無鎖資料變更的DELETE陳述式完成。但刪除源表的同時,源庫中會產生儲存此次歸檔資料的備份暫存資料表,請保證源庫空間充足,避免空間容量不足引發執行個體不可用問題。

      清理備份暫存資料表:您可以在確認資料歸檔完成且資料無誤後,通過建立普通資料變更工單,清理源庫中的備份暫存資料表。

    • 若您未選中清理原表已歸檔資料(delete-無鎖),則需要在資料歸檔成功後,手動進行源表資料刪除和空間最佳化。

      1. 清理源表資料:通過建立普通資料變更工單清理資料庫中已歸檔的資料。建立普通資料變更工單,請參見普通資料變更

      2. 源資料表空間最佳化:通過建立無鎖變更工單完成源資料表空間最佳化。建立無鎖變更工單,請參見通過無鎖變更工單實現無鎖結構變更

    運行方式

    選擇運行方式,當前支援:

    • 單次執行:工單審核通過後,僅單次運行歸檔任務。

    • 周期調度:工單審核通過後,可根據部署的周期調度執行歸檔任務。具體配置,請參見周期調度

  5. 單擊提交申請

  6. 工單審批通過後,系統自動執行資料歸檔任務,等待歸檔任務執行完成。

    若任務執行失敗,您可在工單的執列區域,單擊操作列下的詳情,查看歸檔任務日誌,找出任務執行失敗的原因。若是由於網路或資料庫連接失敗等偶然發生的問題,您也可以單擊斷點重試,嘗試重新執行。

    歸檔後的資料以表形式儲存在資料庫中。

  7. 歸檔成功後查詢資料

歸檔後查詢資料

方式一:通過DMS查詢歸檔資料

  1. 資料歸檔任務執行成功後,您可在當前工單詳情頁的基本資料地區,單擊目標庫右側的查看

  2. 進入SQL Console頁面後,在左側表列表地區,選擇並雙擊目標表名,再單擊執行,查看已歸檔的資料。

    說明

    系統會自動根據來源資料庫的庫表名稱在歸檔執行個體上產生庫和表,所以此處的目標資料庫名稱與源庫名稱相同。

    歸檔後的表會新增四列資料,不影響表未經處理資料的使用:

    • 歸檔資訊(工單號和歸檔時間)

    • 資料庫名稱

    • 表名稱

    • 執行個體ID(DMS錄入執行個體時賦予的ID,與執行個體真實ID對應)

方式二:通過AnalyticDB for MySQL查詢歸檔資料

具體的查詢操作,請參見匯入資料並查詢