核心大版本的升級能夠提升效能、引入新功能並修複問題。本文介紹如何通過叢集間的資料移轉,進行升級雲資料庫ClickHouse社區相容版叢集的核心大版本。
版本支援
支援將雲資料庫ClickHouse社區相容版叢集的核心版本為19.15及以上版本,升級至更高的核心版本。最新版本,請參見版本發布記錄。
前提條件
源叢集和目的地組群均需具備的條件:
均為社區相容版叢集。
均處於運行中狀態。
均已具有資料庫帳號和密碼。
二者副本需一致。
二者冷熱分層狀態一致。
二者使用相同的VPC且在同一地區,並已將彼此的IP添加到了對方白名單中。如果不滿足此條件,請先解決網路問題。具體操作,請參見如何解決目的地組群與資料來源網路互連問題。
說明您可以通過
SELECT * FROM system.clusters;
查看雲資料庫ClickHouse執行個體的IP地址。如何設定白名單,請參見設定白名單。
目的地組群需額外滿足如下條件:
版本高於或等於源叢集版本。最新版本,請參見版本發布記錄。
未使用儲存空間需大於或等於源叢集已使用儲存空間的1.2倍。
源叢集的所有本地表都需要具有唯一的分布式表。
注意事項
升級核心大版本後不支援降級核心大版本。
遷移發起時,源叢集和目的地組群不能有正在啟動並執行管控任務(包含擴容,升降配等)。
雲資料庫ClickHouse叢集間的資料移轉支援全量遷移和增量遷移。
非MergeTree類型的表(例如,外表、Log表等)僅支援遷移表結構。因此當源叢集存在非MergeTree類型的表時,若您使用資料移轉功能,目的地組群中非MergeTree類型的表只有表結構沒有具體的業務資料。
升級核心大版本後會造成用戶端串連資料庫服務失敗,請務必修改用戶端的串連地址。
叢集影響
遷移過程中,支援對源叢集的表進行讀取與寫入資料操作,但不支援DDL操作(增、刪、改庫表的中繼資料操作)。
為了保證遷移任務正常完成,當遷移任務達到99%進度時,且此時在源叢集預設的停寫時間範圍內,源叢集會主動停止寫入。
當資料全部遷移完成或超出源叢集預設的停寫時間範圍,源叢集會自動回復資料寫入。
操作步驟
以下操作均在目的地組群完成,而非源叢集。
步驟一:建立遷移任務
在叢集列表頁面,選擇社區版執行個體列表,單擊目的地組群ID。
在左側導覽列,單擊執行個體遷移。
在執行個體遷移頁面,單擊建立遷移任務。
配置源執行個體與目標執行個體。
配置以下資訊,單擊測試連接進行下一步。
說明測試連接成功後,進入下一個步驟。如果測試連接失敗,請根據提示,重新設定源執行個體和目標執行個體。
確認遷移內容。
仔細閱讀頁面中資料移轉的包含內容提示資訊,單擊下一步:預檢測並啟動同步。
後台遷移鏈路預檢測並啟動任務。
後台會對目標執行個體和源執行個體進行執行個體狀態檢測、儲存空間檢測和本地表和分布式表檢測。
檢測成功:
仔細閱讀頁面遷移過程中對執行個體的影響提示內容。
設定停寫時間。
說明為了保證遷移的成功率,建議您停寫時間至少設定30分鐘。
遷移任務必須在任務啟動(即任務建立完成)後的5天內結束,因此,源叢集停寫時間的結束日期必須小於或等於
當前日期+5
。為了降低遷移對您業務的影響,建議您設定的停寫時間範圍處於您的業務低峰時段。
單擊完成。
說明單擊完成後,任務建立完成且啟動任務。
檢測失敗:您需要按照提示資訊進行操作,重新進行資料移轉。檢測內容及要求如下。
檢測專案
檢測要求
執行個體狀態檢測
遷移發起時,源叢集和目的地組群不能有正在啟動並執行管控任務(包含擴容,升降配等)。如果當前源叢集和目的地組群有管控任務正在運行,則不能發起遷移任務。
儲存空間檢測
遷移進行前,進行儲存空間校正。保證目的地組群的儲存空間大於等於源叢集的儲存空間的1.2倍。
本地表和分布式表檢測
如果源叢集存在本地表沒有建立分布式表或者分布式表不唯一,則校正失敗。請刪除多餘的分布式表或建立唯一分布式表。
步驟二:查看遷移任務
在叢集列表頁面,選擇社區版執行個體列表,單擊目的地組群ID。
在左側導覽列,單擊執行個體遷移。
在執行個體遷移列表頁面,查看遷移任務的遷移狀態、遷移進度、停寫視窗。
說明當遷移任務達到99%進度時,且遷移狀態為遷移進行中時,會觸發源叢集停寫。停寫規則如下:
觸發時間在源叢集預設的停寫時間範圍內,源叢集停寫。
觸發時間不在源叢集預設的停寫時間範圍內,且小於或等於
任務啟動(即任務建立)日期+5
,您可通過修改停寫視窗時間,繼續遷移任務。觸發時間不在源叢集預設的停寫時間範圍內,且大於
任務啟動(即任務建立)日期+5
,遷移失敗。您需取消遷移任務,並清理目的地組群中已遷移的資料,重新建立遷移任務,發起遷移。
步驟三:(可選)取消遷移任務
在叢集列表頁面,選擇社區版執行個體列表,單擊目的地組群ID。
在左側導覽列,單擊執行個體遷移。
在目標遷移任務的操作列,單擊取消遷移。
在取消遷移對話方塊,單擊確定。
說明取消遷移後,工作清單不會立即更新,建議您,通過間隔重新整理查看任務狀態。
任務取消後,任務的遷移狀態會變成已完成。
在您重新發起遷移之前,必須先清理目的地組群中已遷移的資料,避免出現資料重複的情況。
步驟四:(可選)修改停寫視窗時間
在叢集列表頁面,選擇社區版執行個體列表,單擊目的地組群ID。
在左側導覽列,單擊執行個體遷移。
在目標遷移任務的操作列,單擊修改停寫視窗。
在修改停寫視窗對話方塊,選擇停寫時間。
說明停寫時間設定規則,與建立遷移任務中停寫時間的設定一致。
單擊確定。
後續步驟:刪除源叢集
刪除源叢集的具體操作,請參見刪除叢集。
源叢集刪除後,源叢集的所有資料都會被刪除無法找回,請在目的地組群中檢測源叢集的業務資料是否全部遷移至目的地組群。