全部產品
Search
文件中心

Data Management:資料歸檔至使用者OSS

更新時間:Jun 30, 2024

本文為您介紹如何將資料歸檔使用者OSS(您開通的阿里雲OSS服務),以及恢複已歸檔資料至源庫。

前提條件

  • 來源資料庫類型如下:

    • MySQL類型:RDS MySQLPolarDB MySQL版AnalyticDB MySQL 3.0

    • PostgreSQL類型:RDS PostgreSQLPolarDB PostgreSQL版

    • MongoDB3.6版本及以上。

    • PolarDB分布式版

    說明
    • 物理庫和邏輯庫均支援。

      • 物理庫:具體的某個資料庫。

      • 邏輯庫:由單個或多個物理庫配置而成,可便捷地進行分庫分表的操作。更多資訊,請參見邏輯庫

    • MySQL資料庫帳號必須具有REPLICATION CLIENT許可權。

  • 源和目標資料庫的管控模式均為穩定變更或安全協同。

    說明

    若執行個體的管控模式均為穩定變更,在進行周期歸檔前,建議您為執行個體開啟安全託管或變更管控模式為安全協同,以免由於執行個體登入失效導致任務執行失敗。具體操作,請參見開啟安全託管變更管控模式

  • 已開通併購買標準儲存或低頻訪問類型的使用者OSS。具體操作,請參見開通OSS服務

  • 使用者OSS需要錄入DMS。具體操作,請參見雲資料庫錄入

    重要
    • 請錄入使用者OSS至DMS時使用公網地址。若使用的內網地址,則無法進行資料歸檔。若您有任何疑問,請使用DingTalk搜尋DingTalk群號19040023327,加入DingTalk群反饋。

    • 錄入OSS前,請您準備好您當前阿里雲帳號下建立的AccessKey IDAccessKey Secret,以成功完成登入驗證。擷取AccessKey操作,請參見擷取AccessKey

  • 需要歸檔的源表必須存在主鍵或者唯一鍵。

    說明

    建議源表中配置有業務修改時間的欄位,以便將業務修改時間作為歸檔的過濾條件。

注意事項

  • 如果待歸檔的源表中存在三個列聯合主鍵(即三個相互關聯的列共同構成該表的主鍵)或三個及以上的唯一鍵,可能會出現歸檔失敗的情況。建議您在歸檔前對擁有三個列聯合主鍵的源表進行充分測試,或者考慮使用DBS備份等其他歸檔方式。

  • 目前僅新加坡、印尼(雅加達)地區可使用資料歸檔功能。

資料歸檔

  1. 登入Data Management 5.0
  2. 在頂部功能表列中,選擇解決方案 > 資料歸檔
  3. 在頁面右上方,單擊資料歸檔

  4. 建立資料歸檔工單頁面,配置以下資訊:

    配置項

    說明

    任務名

    請輸入明確、清晰的任務名,方便後續查詢。

    歸檔目標

    選中OSS

    OSS執行個體

    選擇存放歸檔資料的目標執行個體。

    說明

    請選擇標準儲存或低頻訪問類型的使用者OSS執行個體。

    OSS BUCKET

    選擇執行個體下的OSS Bucket。

    重要
    • 若選擇的OSS執行個體下沒有您所需要的OSS Bucket,請在DMS控制台登入此執行個體,具體操作請參見錄入Object Storage Service

    • 歸檔後資料會儲存在此Bucket下的archive檔案夾中,請勿刪除。

    資料庫

    搜尋並選擇待歸檔的業務資料庫。

    歸檔配置

    選擇需要歸檔資料的表。

    • 可選:輸入歸檔資料的過濾條件。

      說明

      如果您需要使用時間變數,例如,歸檔6個月前的資料,可以先進行變數配置

    • 可選:單擊添加,添加多個源表。

    歸檔表映射

    您可以單擊操作列下的編輯,配置歸檔表資訊。

    變數配置(可選)

    配置該變數可以在配置歸檔過濾條件時使用。例如,時間變數為6_month_ago,時間格式為yyyy-MM-dd,位移量設定為-6月。如果當前日期為2021-8-12,則變數${6_month_ago}的值為2021-02-11。配置時間變數的更多資訊,請參見配置時間變數

    後置行為

    • 選擇是否清理源表已歸檔資料:

      • 不清理:歸檔後不清理源表資料。

      • 清理:歸檔完成後,自動用無鎖的方式清理源表資料。

    • 選擇是否校正歸檔資料:

      • 不校正:不校正歸檔後的資料。

      • 校正:歸檔資料與原庫資料進行比對,展示差異資訊與歸檔資訊。

        校正時間隨資料量增長。

    運行方式

    選擇運行方式,當前支援:

    • 單次執行:工單審核通過後,僅單次運行歸檔任務。

    • 周期調度:工單審核通過後,可根據部署的周期調度執行歸檔任務。具體配置,請參見周期調度

  5. 單擊提交申請

    工單審批通過後,自動執行資料歸檔任務。

    說明

    資料歸檔功能將以0時區進行資料歸檔與後置行為(與資料庫實際時區不轉換)。

  6. 可選:資料歸檔成功且確認無誤後,您可以刪除已歸檔的源表資料並最佳化源資料表空間。

    1. 清理源表已歸檔資料。

      • 如果您開啟了後置行為,源表已歸檔資料會被清理,同時在來源資料庫中產生備份暫存資料表。

        清理備份暫存資料表:通過建立普通資料變更工單,清理資料庫中的備份暫存資料表。建立普通資料變更工單,請參見普通資料變更

        說明

        在資料歸檔工單詳情頁的最下方,單擊查看暫存資料表drop SQL,複製清理備份暫存資料表的SQL語句。

      • 如果您沒有開啟後置行為,需要手動清理源表已歸檔資料。

        清理源表已歸檔資料:通過建立普通資料變更工單,清理來源資料庫中已歸檔資料。

    2. 最佳化源資料表空間:通過建立無鎖變更工單,完成源資料表空間最佳化。建立無鎖變更工單,請參見通過無鎖變更工單實現無鎖結構變更

      說明

      在資料歸檔工單詳情頁的最下方,單擊查看源資料表空間最佳化SQL,複製源資料表空間最佳化的SQL語句。

  7. 查詢歸檔至使用者OSS的資料

恢複已歸檔資料至源庫

費用說明

該功能免費使用。

使用限制

僅來源資料庫類型為RDS MySQLPolarDB MySQL版AnalyticDB MySQL 3.0可使用此功能。

操作步驟

  1. 進入資料歸檔工單列表頁面,視圖選擇工單視圖

  2. 單擊目標工單視圖行操作列下的詳情

  3. 資料歸檔工單列表頁的執行地區,單擊操作列下的恢複到源庫

  4. 在對話方塊中,單擊確認

    此時歸檔的任務下會增加一個恢複的任務。系統自動執行此任務,您需要等待任務狀態從正在執行變為執行成功,此過程耗時間長度短與您恢複的資料量有關。

    重要

    執行歸檔資料恢複到源庫操作後,系統會自動在源庫中建立暫存資料表,可能會造成源庫空間不足,請您謹慎操作。

  5. 查看已恢複的資料。

    1. 在該工單詳情頁的基本資料地區,單擊變更庫名稱,在彈出的提示框上單擊查詢

    2. 雙擊目標表名稱,單擊執行

      您可在SQL Console頁面下方的執行結果地區,查看已恢複的資料。