本文為您介紹如何將資料歸檔使用者OSS(您開通的阿里雲OSS服務),以及恢複已歸檔資料至源庫。
前提條件
來源資料庫類型如下:
MySQL類型:RDS MySQL、PolarDB MySQL版、AnalyticDB MySQL 3.0。
PostgreSQL類型:RDS PostgreSQL、PolarDB PostgreSQL版。
MongoDB3.6版本及以上。
PolarDB分布式版。
說明物理庫和邏輯庫均支援。
物理庫:具體的某個資料庫。
邏輯庫:由單個或多個物理庫配置而成,可便捷地進行分庫分表的操作。更多資訊,請參見邏輯庫。
MySQL資料庫帳號必須具有REPLICATION CLIENT許可權。
源和目標資料庫的管控模式均為穩定變更或安全協同。
已開通併購買標準儲存或低頻訪問類型的使用者OSS。具體操作,請參見開通OSS服務。
使用者OSS需要錄入DMS。具體操作,請參見雲資料庫錄入。
重要請錄入使用者OSS至DMS時使用公網地址。若使用的內網地址,則無法進行資料歸檔。若您有任何疑問,請使用DingTalk搜尋DingTalk群號19040023327,加入DingTalk群反饋。
錄入OSS前,請您準備好您當前阿里雲帳號下建立的AccessKey ID和AccessKey Secret,以成功完成登入驗證。擷取AccessKey操作,請參見擷取AccessKey。
需要歸檔的源表必須存在主鍵或者唯一鍵。
說明建議源表中配置有業務修改時間的欄位,以便將業務修改時間作為歸檔的過濾條件。
注意事項
如果待歸檔的源表中存在三個列聯合主鍵(即三個相互關聯的列共同構成該表的主鍵)或三個及以上的唯一鍵,可能會出現歸檔失敗的情況。建議您在歸檔前對擁有三個列聯合主鍵的源表進行充分測試,或者考慮使用DBS備份等其他歸檔方式。
目前僅新加坡、印尼(雅加達)地區可使用資料歸檔功能。
資料歸檔
- 登入Data Management 5.0。
- 在頂部功能表列中,選擇 。
在頁面右上方,單擊資料歸檔。
在建立資料歸檔工單頁面,配置以下資訊:
配置項
說明
任務名
請輸入明確、清晰的任務名,方便後續查詢。
歸檔目標
選中OSS。
OSS執行個體
選擇存放歸檔資料的目標執行個體。
說明請選擇標準儲存或低頻訪問類型的使用者OSS執行個體。
OSS BUCKET
選擇執行個體下的OSS Bucket。
重要若選擇的OSS執行個體下沒有您所需要的OSS Bucket,請在DMS控制台登入此執行個體,具體操作請參見錄入Object Storage Service。
歸檔後資料會儲存在此Bucket下的archive檔案夾中,請勿刪除。
資料庫
搜尋並選擇待歸檔的業務資料庫。
歸檔配置
選擇需要歸檔資料的表。
可選:輸入歸檔資料的過濾條件。
說明如果您需要使用時間變數,例如,歸檔6個月前的資料,可以先進行變數配置。
可選:單擊添加,添加多個源表。
歸檔表映射
您可以單擊操作列下的編輯,配置歸檔表資訊。
變數配置(可選)
配置該變數可以在配置歸檔過濾條件時使用。例如,時間變數為
6_month_ago
,時間格式為yyyy-MM-dd,位移量設定為-6月。如果當前日期為2021-8-12,則變數${6_month_ago}
的值為2021-02-11。配置時間變數的更多資訊,請參見配置時間變數。後置行為
選擇是否清理源表已歸檔資料:
不清理:歸檔後不清理源表資料。
清理:歸檔完成後,自動用無鎖的方式清理源表資料。
選擇是否校正歸檔資料:
不校正:不校正歸檔後的資料。
校正:歸檔資料與原庫資料進行比對,展示差異資訊與歸檔資訊。
校正時間隨資料量增長。
運行方式
選擇運行方式,當前支援:
單次執行:工單審核通過後,僅單次運行歸檔任務。
周期調度:工單審核通過後,可根據部署的周期調度執行歸檔任務。具體配置,請參見周期調度。
單擊提交申請。
工單審批通過後,自動執行資料歸檔任務。
說明資料歸檔功能將以0時區進行資料歸檔與後置行為(與資料庫實際時區不轉換)。
可選:資料歸檔成功且確認無誤後,您可以刪除已歸檔的源表資料並最佳化源資料表空間。
清理源表已歸檔資料。
如果您開啟了後置行為,源表已歸檔資料會被清理,同時在來源資料庫中產生備份暫存資料表。
清理備份暫存資料表:通過建立普通資料變更工單,清理資料庫中的備份暫存資料表。建立普通資料變更工單,請參見普通資料變更。
說明在資料歸檔工單詳情頁的最下方,單擊查看暫存資料表drop SQL,複製清理備份暫存資料表的SQL語句。
如果您沒有開啟後置行為,需要手動清理源表已歸檔資料。
清理源表已歸檔資料:通過建立普通資料變更工單,清理來源資料庫中已歸檔資料。
最佳化源資料表空間:通過建立無鎖變更工單,完成源資料表空間最佳化。建立無鎖變更工單,請參見通過無鎖變更工單實現無鎖結構變更。
說明在資料歸檔工單詳情頁的最下方,單擊查看源資料表空間最佳化SQL,複製源資料表空間最佳化的SQL語句。
恢複已歸檔資料至源庫
費用說明
該功能免費使用。
使用限制
僅來源資料庫類型為RDS MySQL、PolarDB MySQL版、AnalyticDB MySQL 3.0可使用此功能。
操作步驟
進入資料歸檔工單列表頁面,視圖選擇工單視圖。
單擊目標工單視圖行操作列下的詳情。
在資料歸檔工單列表頁的執行地區,單擊操作列下的恢複到源庫。
在對話方塊中,單擊確認。
此時歸檔的任務下會增加一個恢複的任務。系統自動執行此任務,您需要等待任務狀態從正在執行變為執行成功,此過程耗時間長度短與您恢複的資料量有關。
重要執行歸檔資料恢複到源庫操作後,系統會自動在源庫中建立暫存資料表,可能會造成源庫空間不足,請您謹慎操作。
查看已恢複的資料。
在該工單詳情頁的基本資料地區,單擊變更庫名稱,在彈出的提示框上單擊查詢。
雙擊目標表名稱,單擊執行。
您可在SQL Console頁面下方的執行結果地區,查看已恢複的資料。