Data Management的測試資料構建功能擁有強大的演算法引擎,支援批量產生各類隨機值、地區名、虛擬IP地址等資訊,可以大大減輕準備測試資料的負擔。本文介紹構建測試資料的方法。
前提條件
支援的資料庫類型:
MySQL:RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB for MySQL、其他來源MySQL
SQL Server:RDS SQL Server、MyBase SQL Server、其他來源SQL Server
PostgreSQL:RDS PostgreSQL、PolarDB PostgreSQL版、MyBase PostgreSQL、AnalyticDB for PostgreSQL、其他來源PostgreSQL
MariaDB:RDS MariaDB、其他來源MariaDB
OceanBase MySQL模式
PolarDB PostgreSQL版(相容Oracle)
背景資訊
功能測試或者效能測試時,往往需要準備測試資料,通常有以下幾種方法:
手工編寫:效率低,不適用於巨量資料量情境。
維護產生測試資料指令碼:成本高,且不通用每次都需要修改,資料離散性不足。
生產環境資料匯出後寫入測試環境:資料不安全,存在泄露風險。
實際開發過程中可能伴隨頻繁的資料準備過程,同時需要保障資料安全、資料的離散性特徵可控、高效率。DMS提供的測試資料構建,能夠滿足您的需求。
注意事項
當前僅支援按需操作單個表,如需多個表產生需要多次處理。
單次產生上限閾值為100萬條。
效能資料參考(進行了流量控制,避免瞬時產生過多資料造成資料庫負載的影響):
4個欄位產生100萬條資料約60s。
40個欄位產生100萬條資料約120s-180s之間。
操作步驟
- 登入Data Management 5.0。
在頂部功能表列中,選擇 。
說明若您使用的是極簡模式的控制台,請單擊控制台左上方的表徵圖,選擇
。在測試資料構建工單列表頁,單擊右上方的測試資料構建。
說明您還可以在目標資料庫的SQL視窗中,按右鍵目標表,在彈出的視窗中選擇
。在測試資料構建工單申請頁,根據下表填寫工單資訊,並單擊提交申請。
參數名
說明
任務名稱
便於後續檢索,並提供給審批人員清晰的操作意圖。
庫名
指定資料庫執行個體上某個具體資料庫(需要在產品內有資料庫的操作許可權,輸入庫名首碼後可出現聯想提示)。
表名
在指定的目標表中進行檢索,支援添加多張表(需要輸入表名首碼後可出現聯想提示)。
配置演算法
您在選擇表名後,才會出現此配置項。您可編輯各欄位的產生方式,詳情資訊請參見配置演算法介紹。
產生行數
產生測試資料的行數。
衝突處理
請選擇衝突處理模式,當前支援:
遇到資料衝突則跳過:遇到主鍵、唯一鍵的資料寫入衝突則跳過衝突記錄繼續往下寫入其他資料。
遇到資料衝突則替換:遇到主鍵、唯一鍵的資料寫入衝突則更新原記錄行的資料並繼續往下寫入其他資料。
變更相關人
您可按需選擇變更相關人。非工單參與人、審批人,均不可見工單詳情。
提交工單後進入審批環節,待審批通過後,系統會自動進行資料構建,並直接寫入目標資料庫中。
說明目前,測試資料構建的預設安全審批規則為:資料庫對應的DBA進行審批。更多資訊,請參見測試資料構建。
配置演算法介紹
測試資料產生演算法配置目前支援3種產生方式,分別是隨機、自訂、枚舉。
隨機
數實值型別:支援自增序列(指定起始值與步長)與區間數字(在指定區間產生隨機值)兩種產生方式。
文本類型:支援變長字串(在指定字元長度與指定字元範圍中產生隨機值)與不重複字串(隨機產生)兩種產生方式。
日期與時間類型:支援在指定日期或時間內產生隨機數值。
自訂
目前僅文本類型支援自訂產生方式,提供個人資訊、地理位置、以及多個行業的標準資料類型。
枚舉
您需要主動添加若干枚舉值,DMS會在您輸入的枚舉值中隨機播放。
說明數值、文本、日期與時間類型均支援枚舉產生方式。
相關操作
測試資料構建完成後,您可能需要進行以下操作:
在DMS的SQL Console中查詢資料。具體操作,請參見SQL Console初體驗。
監控、查看資料庫效能。具體操作,請參見即時效能。