全部產品
Search
文件中心

Data Management:資料歸檔概述

更新時間:Aug 03, 2024

當線上資料庫中的歷史資料(訪問率很低的資料)越來越多,佔用的儲存越來越大,以至於會影響資料庫的查詢效能與業務運轉,此時您可以使用Data Management的資料歸檔功能,周期性地將符合篩選條件的表資料歸檔至其他資料庫或儲存服務中。同時,該功能還支援刪除源表資料、資料表空間整理等,降低線上儲存成本。

使用情境樣本

在電子商務平台中,每天會產生大量的訂單資料,這些訂單資料隨著時間的推移,其訪問需求逐漸減少。為了提高資料庫的效能和減少儲存空間的佔用,可以使用DMS的資料歸檔,周期性地歸檔訂單資料。

注意事項

  • 資料歸檔操作可能會對正在啟動並執行業務效能產生一定的影響。

    重要

    為最小化影響,建議您在業務低峰時執行歸檔操作。

  • 歸檔表包含大欄位(BLOB、TEXT等類型)和資料量較大的行時,可能會導致歸檔任務失敗。

  • 目前僅新加坡、印尼(雅加達)地區可使用資料歸檔功能。

  • 目前不支援對包含虛擬列的表資料進行歸檔。

  • 目前不支援在DMS控制台或使用API歸檔他雲或自建資料庫的資料。

DMS資料歸檔與DTS資料移轉的區別

  • 功能目的

    • 資料歸檔可通過自訂過濾條件,將不經常訪問的資料歸檔至其他儲存中,旨在減輕主要資料庫的負載和提高效能。

    • 資料移轉實現同構和異構資料來源之間的資料移轉。資料移轉詳情,請參見遷移方案概覽

  • 應用情境

    • 資料歸檔可實現將不常訪問的資料,周期性地或一次性歸檔至其他資料庫或儲存中。

    • 資料移轉適用於資料上雲遷移、阿里雲內部跨任務資料移轉、資料庫拆分或擴容等業務情境。

歸檔目標選擇指引

引擎類

對比項

Lindorm

AnalyticDB MySQL 3.0

AnalyticDB for PostgreSQL

RDS MySQL

PolarDB MySQL版

支援的來源資料庫類型

  • MySQL類型:RDS MySQLPolarDB MySQL版AnalyticDB MySQL 3.0

  • PostgreSQL類型:RDS PostgreSQLPolarDB PostgreSQL版

  • PolarDB-X 2.0。

說明

MySQL資料庫帳號必須具有REPLICATION CLIENT許可權。

費用說明

資料歸檔功能不收費,在購買、使用目標執行個體過程中,可能會涉及費用。

歸檔後是否支援刪除來源資料

支援同步刪除來源資料,保證資料歸檔和來源資料刪除同步完成,降低了後期刪除來源資料的麻煩和風險。

  • 刪除來源資料是通過無鎖變更的方式進行,穩定快速,不會產生大事務。

  • 來源資料會緩衝在本地暫存資料表中,如遇特殊情況,可以迅速恢複。

如何查詢已歸檔的資料

  • 支援在DMS控制台查詢已歸檔的資料。

  • 支援通過對應的資料庫引擎查詢已歸檔資料。

指定歸檔位置

  • 需要指定歸檔執行個體。

  • 不需要指定歸檔的庫表。系統會自動根據源庫的庫表名稱在歸檔執行個體上產生庫和表。

表結構變化

新增一列,記錄工單號、歸檔時間等,不影響資料使用。

用途

  • 將多張表合并成大寬表,以提高查詢效能。

  • 高並發線上查詢與檢索2C情境下的資料。例如賬單、訂單的歷史資料。

  • 全量資料自調整壓縮和智能冷熱分離,降低儲存成本。

  • 毫秒級更新,亞秒級查詢。

  • 高吞吐離線處理和高效能線上分析,實現降本增效。

  • 分析資料。

  • 降低線上儲存成本。

  • 將資料自動同步到分析執行個體中,以提高複雜分析與查詢速度。

  • 降低儲存成本。

  • 分析資料。

  • 降低線上儲存成本。

資料把控能力

最強,資料歸檔在您管理的資料庫執行個體上,可以通過資料庫互動靈活處理資料。

儲存類

對比項

專屬儲存(推薦)

使用者OSS

DBS內建OSS

支援的來源資料庫類型

  • MySQL類型:RDS MySQLPolarDB MySQL版AnalyticDB MySQL 3.0

  • PostgreSQL類型:RDS PostgreSQLPolarDB PostgreSQL版

  • MongoDB3.6版本及以上。

說明

MySQL資料庫帳號必須具有REPLICATION CLIENT許可權。

  • MySQL類型:RDS MySQLPolarDB MySQL版AnalyticDB MySQL 3.0

  • PostgreSQL類型:RDS PostgreSQLPolarDB PostgreSQL版

  • MongoDB3.6版本及以上。

  • PolarDB-X 2.0。

  • MySQL類型:RDS MySQLPolarDB MySQL版

  • PolarDB PostgreSQL版

  • PolarDB-X 2.0。

費用說明

公測階段專屬儲存暫不收費。

資料歸檔功能不收費,在購買、使用OSS過程中,可能會涉及費用。

  • DMS會在DBS中建立一個備份計劃,DBS會根據備份的資料量收取備份、儲存等費用。費用請參見DBS費用概述

    說明

    資料歸檔建立的DBS備份計劃規格為xlarge。

  • 如果您想要查看歸檔後的資料,需要開通雲原生資料湖分析DLA服務。費用請參見計費概述

歸檔後是否支援刪除來源資料

支援同步刪除來源資料,保證資料歸檔和來源資料刪除同步完成,降低了後期刪除來源資料的麻煩和風險。

  • 刪除來源資料是通過無鎖變更的方式進行的,穩定快速,沒有大事務。

  • 來源資料會緩衝在本地暫存資料表中,如遇特殊情況,可以迅速恢複。

不支援自動刪除來源資料,需要通過建立普通資料變更工單清理資料庫中已歸檔的資料。

如何查詢已歸檔的資料

支援通過DMS邏輯數倉查詢已歸檔資料,同時,您可以使用檔案合并功能提升查詢歸檔資料效率,查詢速度相對其他方式較快。

支援通過DMS邏輯數倉查詢已歸檔資料。

查詢歸檔資料需要通過DBS開通資料湖,在雲原生資料湖分析DLA中查詢已歸檔資料。

指定歸檔位置

無需關注資料存放區的具體位置。

需要指定OSS。

不需要指定OSS。系統會自動在DBS中建立一個備份計劃,將資料歸檔至OSS。

表結構變化

表結構不變化。

表結構不變化。

說明

在雲原生資料湖分析DLA中查詢已歸檔資料,列的順序可能會發生變化。

用途

  • 分析資料。

  • 降低線上儲存成本(能力較強)。

降低線上儲存成本(能力最強)。

降低線上儲存成本(能力強)。

資料把控能力

較強,資料歸檔並儲存在DMS中,您無需關注資料存放區的具體位置。

較強,資料歸檔在使用者開通的阿里雲OSS上。

較弱,資料歸檔在DBS內建OSS上。

歸檔鏈路文檔

常見問題

Q:如果在資料歸檔過程中選擇了清理源表資料,歷史的業務資料還能查詢到嗎?

A:可以。資料歸檔功能定時將大表的資料歸檔至其他資料庫,可通過查詢歸檔的歷史執行個體來查詢歸檔的歷史業務資料。

相關API