ApsaraDB for ClickHouse：將自建ClickHouse資料移轉至雲ClickHouse社區相容版

遷移過程中

• 目的地組群進行遷移的庫表會暫停合并（Merge），但自建叢集不會。

  說明

  遷移資料時間過長，將導致目的地組群的中繼資料積累過多。建議遷移任務的持續時間長度不超過5天。

• 目的地組群必須使用default叢集。如果您自建叢集的命名使用了其他名字，則會自動將分布式表中的cluster定義轉化為default。

遷移內容

• 支援遷移的內容：

  • 庫、資料字典、物化視圖。

    • 只支援遷移SQL建立的資料字典，不支援通過XML建立的資料字典。

      確認方法：SELECT * FROM system.dictionaries WHERE (database = '') OR isNull(database);，如果SQL存在返回結果，代表有XML建立的資料字典。

    • 資料字典訪問外部服務時，請確保外部服務可用且為叢集開放白名單；資料字典的資料來源為當前ClickHouse的內表資料時，如果定義中HOST參數配置的是IP地址，遷移後可能會因IP變更而導致訪問失敗，需重新確認當前ClickHouse的HOST並手動建立資料字典。

  • 表結構：除了Kafka和RabbitMQ引擎表以外的所有表結構。

  • 資料：增量遷移MergeTree族表的資料。

• 不支援遷移的內容：

  • Kafka和RabbitMQ引擎表的表以及資料。

  • 非MergeTree類型表（例如外表、Log表等）的資料。

  重要

  以上不支援的內容，在遷移過程中，您需根據操作步驟，手動處理。

• 遷移資料量：

  • 冷資料：冷存資料的遷移速度相對較慢，建議您盡量清理自建叢集中的冷存資料，以確保其總量不超過1TB。否則，遷移時間過長可能會導致遷移失敗。

  • 熱資料：熱資料如果超過10TB，遷移任務失敗率比較高，不建議您使用此方案進行遷移。

  如果資料不滿足上述條件，遷移方案可選擇手動遷移。

步驟一：自建叢集檢查並開啟使用系統資料表system。

在資料移轉之前，您需根據自建叢集是否已啟用system.part_log和system.query_log，對config.xml檔案進行修改配置，以實現增量遷移。

<part_log>
    <database>system</database>
    <table>part_log</table>
    <partition_by>event_date</partition_by>
    <order_by>event_time</order_by>
    <ttl>event_date + INTERVAL 15 DAY DELETE</ttl>
    <flush_interval_milliseconds>7500</flush_interval_milliseconds>
</part_log>

<query_log>
    <database>system</database>
    <table>query_log</table>
    <partition_by>event_date</partition_by>
    <order_by>event_time</order_by>
    <ttl>event_date + INTERVAL 15 DAY DELETE</ttl>
    <flush_interval_milliseconds>7500</flush_interval_milliseconds>
</query_log>

步驟二：配置目的地組群相容自建叢集版本。

步驟三：（可選）目的地組群開啟使用MaterializedMySQL引擎。

如果自建叢集中有引擎為MaterializedMySQL的表，您需執行下述語句，開啟MaterializedMySQL引擎的使用。

SET GLOBAL allow_experimental_database_materialized_mysql = 1;

步驟四：建立遷移任務

1. 登入雲資料庫ClickHouse控制台。

2. 在集群清單頁面，選擇默認實例列表，單擊目的地組群ID。

3. 在左側導覽列，單擊数据迁移及同步 > 實例遷移。

4. 在遷移任務頁面，單擊創建遷移任務。

   1. 配置源執行個體與目標執行個體。

      配置以下資訊，單擊測試連接以進行下一步。

      說明

      測試連接成功後，進入下一個步驟。如果測試連接失敗，請根據提示，重新設定源執行個體和目標執行個體。

      

      源叢集配置項

      配置項	說明	樣本
      源端接入方式	固定選擇专线/VPN网关/智能网关/ECS自建ClickHouse。	专线/VPN网关/智能网关/ECS自建ClickHouse
      集群名稱	源叢集的名稱。 僅由阿拉伯數字和小寫英文字母組成。	source
      源实例cluster名称	您需通過SELECT * FROM system.clusters;擷取源实例cluster名称。	default
      VPC IP地址	叢集每個shard的IP和PORT（即shard的TCP地址），並使用英文逗號隔開。 重要 不能使用雲ClickHouse的VPC網域名稱地址或者SLB地址。 格式：IP:PORT,IP:PORT,...... 根據自建上雲的使用情境不同，叢集IP和PORT的擷取方法不同。 阿里雲ClickHouse執行個體的跨賬戶、跨地區遷移 您可以使用以下SQL擷取自建叢集的IP和PORT。 SELECT shard_num, replica_num, host_address as ip, port FROM system.clusters WHERE cluster = 'default' and replica_num = 1; 其中replica_num=1表示選擇第一個複本集，您也可以選擇其他複本集或者自行挑選每個shard的一個副本組成。 非阿里雲ClickHouse執行個體遷移 如果IP不便映射到阿里雲，您可以使用以下SQL擷取自建叢集的IP和PORT。 SELECT shard_num, replica_num, host_address as ip, port FROM system.clusters WHERE cluster = '<cluster_name>' and replica_num = 1; 參數說明如下。 cluster_name：目的地組群的名字。 replica_num=1表示選擇第一個複本集，也可以選擇其他複本集或者自行挑選每個shard一個副本組成。 如果IP和連接埠發生了轉換後映射到阿里雲，則需要根據網路打通情況配置對應的IP和PORT。	192.168.0.5:9000,192.168.0.6:9000
      數據庫賬號	源叢集資料庫帳號。	test
      數據庫密碼	源叢集資料庫帳號密碼。	test******

      目的地組群配置項

      配置項	說明	樣本
      數據庫賬號	目的地組群資料庫帳號。	test
      數據庫密碼	目標群資料庫帳號密碼。	test******

   2. 確認遷移內容。

      仔細閱讀頁面中資料移轉的包含內容提示資訊，單擊下一步:預檢測並啟動同步。

   3. 後台遷移鏈路預檢測並啟動任務。

      後台會對目的地組群和自建叢集進行實例狀態檢測、存儲空間檢測和本地表和分布式錶檢測。

      • 檢測成功：

        檢測成功後的介面如下圖所示。

        

        1. 仔細閱讀頁面遷移過程中對執行個體的影響提示內容。

        2. 單擊完成。

           重要

           • 單擊完成後，任務建立完成且啟動，任務狀態為運行中，您可在工作清單查看任務。

           • 完成任務建立後，您還需監控遷移任務，在遷移完成的最後階段，主動停寫自建叢集，進行剩餘庫表結構遷移。如何監控遷移任務，請參見監控遷移任務並停寫自建叢集。

      • 檢測失敗：您需要按照提示資訊進行操作，重新進行資料移轉。檢測內容及要求如下。檢測報錯資訊以及解決方案，請參見遷移檢查中報錯資訊查詢及解決方案。

        檢測專案	檢測要求
        實例狀態檢測	遷移發起時，自建叢集和目的地組群不能有正在啟動並執行管控任務（包含擴容，升降配等）。如果當前自建叢集和目的地組群有管控任務正在運行，則不能發起遷移任務。
        存儲空間檢測	遷移進行前，進行儲存空間校正。保證目的地組群的儲存空間大於等於自建叢集的已使用空間的1.2倍。
        本地表和分布式錶檢測	如果自建叢集存在本地表沒有建立分布式表或者分布式表不唯一，則校正失敗。請刪除多餘的分布式表或建立唯一分布式表。

步驟一：中繼資料（建表的DDL）的遷移

ClickHouse中繼資料的遷移，主要指進行建表DDL遷移。

如需安裝clickhouse-client工具，請安裝與目標執行個體雲資料庫ClickHouse版本一致的clickhouse-client工具。下載連結，請參見clickhouse-client。

1. 查看自建叢集的database列表。

   clickhouse-client --host="<old host>" --port="<old port>" --user="<old user name>" --password="<old password>" --query="SHOW databases"  > database.list

   參數說明：

   參數	描述
   old host	自建叢集的地址。
   old port	自建叢集的連接埠。
   old user name	登入自建叢集的帳號，擁有DML讀寫和設定許可權，允許DDL許可權。
   old password	上述帳號對應的密碼。

   說明

   system是系統資料庫，不需要遷移，可以直接過濾掉。

2. 查看自建叢集的table列表。

   clickhouse-client --host="<old host>" --port="<old port>" --user="<old user name>" --password="<old password>" --query="SHOW tables from <database_name>"  > table.list

   參數說明：

   參數	描述
   database_name	資料庫名稱

   您也可以通過系統資料表直接查詢所有database和table名稱。

   SELECT DISTINCT database, name FROM system.tables WHERE database != 'system';

   說明

   查詢到的表名中，如果有以.inner.開頭的表，則它們是物化視圖的內部表示，不需要遷移，可以直接過濾掉。

3. 匯出自建叢集中指定資料庫下所有表的建表DDL。

   clickhouse-client --host="<old host>" --port="<old port>" --user="<old user name>" --password="<old password>" --query="SELECT concat(create_table_query, ';') FROM system.tables WHERE database='<database_name>' FORMAT TabSeparatedRaw" > tables.sql

4. 將建表DDL匯入到目標執行個體雲資料庫ClickHouse。

   說明

   您需要在建表DDL匯入之前，在雲資料庫ClickHouse中建立表所在資料庫。

   clickhouse-client --host="<new host>" --port="<new port>" --user="<new user name>" --password="<new password>"  -d '<database_name>'  --multiquery < tables.sql

   參數說明：

   參數	描述
   new host	目標執行個體雲資料庫ClickHouse的地址。
   new port	目標執行個體雲資料庫ClickHouse的連接埠。
   new user name	登入目標執行個體雲資料庫ClickHouse的帳號，擁有DML讀寫和設定許可權，允許DDL許可權。
   new password	上述帳號對應的密碼。

步驟二：資料移轉