全部產品
Search
文件中心

:歷史資料清理

更新時間:Jun 30, 2024

當資料庫出現儲存空間不足、表資料量過大導致查詢速度變慢等情況時,您可以使用Data Management提供的歷史資料清理功能,定期清理歷史資料,以提高資料庫查詢效能和響應速度、避免因儲存空間不足而導致資料庫效能下降及歷史資料堆積對生產環境的穩定性產生影響。

前提條件

  • 資料庫類型為MySQL。

  • 資料庫執行個體的管控模式為穩定變更或安全協同。管控模式的更多資訊,請參見管控模式

操作步驟

  1. 登入Data Management 5.0
  2. 在頂部功能表列中,選擇資料庫開發 > 資料變更 > 歷史資料清理

    說明

    若您使用的是極簡模式的控制台,請單擊控制台左上方的2023-01-28_15-57-17.png表徵圖,選擇全部功能 > 資料庫開發 > 資料變更 > 歷史資料清理

  3. 填寫資料變更工單申請後,單擊提交申請

    部分參數資訊說明如下:

    參數名

    說明

    資料庫

    選擇有變更許可權的資料庫。若您只有目標資料庫的唯讀許可權或表的變更許可權則無法提交工單申請,具體請參見查看我的許可權

    清理配置

    填寫表名時間欄位時間精度保留時間長度(日)過濾條件(可空),系統將根據這些資訊,自動產生相應的清理指令碼。

    說明
    • 如果是邏輯表,請填寫邏輯表名。

    • 設定保留時間長度可指定系統清理資料表中超過保留時間長度的資料。例如,保留時間長度設為7天,系統會清理資料表中保留時間超過7天的資料。

    例如:表名(api_call_record_11)、時間列(gmt_create)、保留時間長度(7)、過濾條件(status = 1 or status=2),將會產生SQL:DELETE FROM `api_call_record_11` WHERE `gmt_create` < SUBDATE(CURDATE(),INTERVAL 7 DAY) AND (status = 1 or status=2);

    定時執行

    DMS在清理資料時會掃描全表,根據主鍵或非空唯一鍵分批執行,推薦執行時間設定為業務低峰期,且設定較低的執行頻率。

    說明

    定時執行的最小時間間隔為一小時。預設每天02:00執行。

    策略配置

    您可以指定執行時間長度,任務在執行指定時間後會自動暫停,避免在業務高峰期影響業務。

    • 不指定執行時間長度,直到清理結束

    • 指定時間長度(小時):指定執行時間長度,避免下遊同步鏈路(如DTS或ADB)消費能力受限,從而影響DMS服務。

    在指定時間長度後,您還可以選擇是否啟用定期Optimize Table功能(片段空間整理)。系統預設關閉此功能,您可手動開啟,開啟後可設定間隔數(預設為60)。例如間隔數設定為60,則系統會在清理60次資料後,發起並執行一次片段空間整理。

    說明
    • 僅資料庫類型為RDS MySQL、PolarDB MySQL支援開啟Optimize Table功能。

    • 執行片段空間整理的時間長度與策略配置中指定執行的時間長度有關,即片段空間整理會隨著執行任務時間長度結束而停止。

    變更相關人

    設定的相關人員都可查看工單,並協同工作,非相關人員則不能查看工單(管理員、DBA除外)。

  4. 提交申請後,您可以開啟主備延遲檢查並確定閾值、修改SQL。

    • (可選)開啟主備延遲檢查、設定閾值。設定主備延遲檢查並確定閾值,以避免主備延遲過大,從而影響主備執行個體切換。

      您可以在基本資料地區,單擊分批執行配置,設定合理的主備延遲閾值(單位:秒)。如果主備延遲大於閾值時,將中斷SQL執行。

      說明

      目前僅支援RDS MySQL資料庫使用該功能。

    • (可選)修改SQL。

      提交申請後,系統將自動進行SQL預檢查。如果預檢查失敗,您可以根據失敗原因修改SQL,修改後重試。

    說明

    在提交審批前,您可以修改分批執行配置和定時配置,一旦提交審批後,您將不能再修改這些資訊。

  5. 單擊提交審批。安全協同執行個體會根據設定的審批規則進行審批,穩定變更執行個體將自動通過審批。

  6. 工單審批通過後,系統將自動產生定時任務,同時發送郵件給工單責任人。您可以在基本資料地區,單擊查看定時任務,查看定時調度資訊,同時您還可以進行如下操作。

    • 暫停調度

      說明

      如果需要關閉調度,請前往歷史資料清理工單詳情頁,單擊右上方的關閉工單,再填入關閉工單的具體原因,單擊確定即可。

    • 重啟調度

      說明

      關閉工單後,若需要重啟調度只能重新提工單。

    • 修改工單責任人

      工單責任人預設是工單提交者。定時調度的暫停、重啟,只有工單責任人有許可權執行,每次調度執行的郵件通知,也只會發給責任人。

  7. 定時任務產生後,系統將會按照設定的定時策略,定時執行產生的SQL指令碼。可以在工單中查看所有的調度資訊以及每次調度的詳情。

    說明

    每次定時調度時,會檢查當前工單是否存在還在執行中的調度任務,如果還有任務在執行,本次調度將不會產生SQL任務,所以您需要合理控制定時執行的頻率。

常見問題

  • 在執行歷史資料清理工單過程中進行表片段空間整理會影響業務嗎?

    若您的目標執行個體已開啟了無鎖結構變更,則在執行歷史資料清理工單時進行表片段空間整理不會影響業務。若執行個體未開啟無鎖結構變更,建議您在業務低峰時執行表片段空間整理,減少對業務的影響。開啟無鎖結構變更的操作,請參見開啟無鎖結構變更

  • 磁碟重組如果執行時間過長,是否支援停止?

    如果整理片段時間過長,您可以在工單詳情頁的執行地區暫停任務。