Hologres：Table Group與Shard Count操作指南

Table Group與Shard Count設定建議

許可權說明

• 建立Table Group、修改預設Table Group、刪除Table Group、遷移表的Table Group（Resharding）需要執行個體的Superuser帳號進行操作。使用Superuser帳號執行如下語句為普通使用者授予Superuser許可權。

  --將“雲帳號ID”替換為實際使用者名稱。如果是RAM使用者，帳號ID前需要添加“p4_”。
  ALTER USER "雲帳號ID" SUPERUSER; 

• 將建立表放入指定Table Group操作需要帳號有建立表許可權。

擷取Table Group中繼資料

1. 查看預設Table Group

   SELECT * FROM hologres.hg_table_group_properties
   WHERE tablegroup_name IN (
     SELECT tablegroup_name FROM hologres.hg_table_group_properties
     WHERE property_key = 'is_default_tg' AND property_value = '1'
   );

   結果：

   說明

   結果中is_default_tg代表為預設Table Group，shard_count代表Table Group對應的Shard數。

   tablegroup_name |   property_key   | property_value
   -----------------+------------------+----------------
    test_tg_default | tg_version       | 1
    test_tg_default | table_num        | 1               
    test_tg_default | is_default_tg    | 1               
    test_tg_default | shard_count      | 3
    test_tg_default | replica_count    | 1
    test_tg_default | created_manually | 0
   (6 rows)

2. 查看當前資料庫有哪些Table Group

   SELECT tablegroup_name
   FROM hologres.hg_table_group_properties GROUP BY tablegroup_name;

   結果：

   tablegroup_name
   -----------------
    test_tg_default
   (1 row)

3. 查看某Table Group設定的Shard數

   SELECT property_value AS shard_count
   FROM hologres.hg_table_group_properties
   WHERE property_key = 'shard_count' AND tablegroup_name ='<tg_name>';

   結果：

   shard_count
   -------------
    3
   (1 row)

4. 查看某Table Group下有哪些表

   SELECT table_namespace AS schema_name, table_name
   FROM hologres.hg_table_properties
   WHERE property_key = 'table_group' AND property_value = '<tg_name>';

   結果：

   schema_name | table_name
   -------------+------------
    public      | a
   (1 row)

5. 查看某張表所在的Table Group

   SELECT property_value AS table_group_name
   FROM hologres.hg_table_properties
   WHERE property_key = 'table_group' AND table_name = '<table_name>';

   結果：

   table_group_name
   ------------------
    test_tg_default
   (1 row)

建立Table Group

CALL HG_CREATE_TABLE_GROUP ('<new_tg_name>', <shard_count>);

-- 建立一個Shard數為8的新Table Group，命名為tg_8
CALL HG_CREATE_TABLE_GROUP ('tg_8', 8);

修改預設Table Group

建立一個資料庫後，執行個體會有一個預設Table Group，以及預設的Shard數。詳情請參見執行個體規格概述。若是資料庫中有多個Table Group，想要修改預設Table Group，使得後續建立的表存放於新的Table Group中，可以使用如下命令語句。

CALL HG_UPDATE_DATABASE_PROPERTY ('default_table_group', '<tg_name>');

參數說明：

使用樣本：

-- 將新建立TG設為預設Table Group，後續建立的表，將預設使用新的Table Group (v0.9及以上版本）
CALL HG_UPDATE_DATABASE_PROPERTY ('default_table_group', 'tg_8');

將建立表放入指定Table Group

BEGIN;
CREATE TABLE table_name (
    col type,
  ....
);
CALL SET_TABLE_PROPERTY('table_name', 'table_group', '<tg_name>');
COMMIT;

-- 建立表tbl1並直接關聯名為tg_8的Table Group
BEGIN;
CREATE TABLE tbl1 (
    col1 text
);
CALL SET_TABLE_PROPERTY('tbl1', 'table_group', 'tg_8');
COMMIT;

（Resharding）遷移表至建立Table Group

在Hologres中，Shard用於提升資料處理的並發度，合理的設定Shard數，有利於提高查詢或者寫入的效能。一般情況下，Hologres執行個體預設的shard數已經能滿足大部分情境，無需再手動修改。

當執行個體擴容後，例如32core擴容到128core，該資料庫的Shard數不會隨著擴容預設更改，因此建議您針對該資料庫增加Shard數，以擷取更好的效能。如果是該執行個體下建立的DB，其Shard數為當前規格的預設數量。執行個體規格與Shard的相關描述，請參見執行個體規格概述。

當執行個體擴容或者縮容後，其之前DB的Shard數不會自動隨之增加或減少，需要通過命令語句設定Shard數，並重新進行資料匯入。Resharding功能用於修改Shard數後，自動實現Rebalance的功能，無需再重建立表導資料，即可將原來的表和資料Resharding到各Shard上，簡化操作步驟，實現最優效能。

• 使用限制

  • 僅Hologres V0.10及以上版本支援Resharding，請前往Hologres管控台的執行個體詳情頁查看當前執行個體版本，如果您的執行個體是V0.10以下版本，請您使用自助升級或加入HologresDingTalk交流群反饋，詳情請參見如何擷取更多的線上支援？。

  • 目前Resharding是單表層級，當使用Resharding時，需要停止該表的寫入（如Flink、Data Integration等寫入），對錶的查詢不受影響。V1.1 版本開始，支援set table readonly，即時任務寫入自動Failover。

  • Resharding會消耗CPU資源，且在Resharding過程中會導致儲存增加，建議在業務低峰期處理。

  • 如果表開啟了Binlog，請在Resharding之前關掉Binlog，待Resharding完成後再開啟Binlog，詳細操作請參見訂閱Hologres Binlog。

  • 暫不支援表欄位帶有Serial自增序列以及Default值進行Resharding，帶Serial欄位的表在Resharding時會報錯，帶Default欄位的表Resharding後會丟失Default屬性。

  • 表在Resharding時不能有其他的依賴比如view等，若存在請在Resharding前刪除相關依賴，否則會報錯“ERROR: resharding table xxx can not executed because other objects depend on it.”。

  • 自Hologres V2.2.29版本開始，支援對有View依賴的表執行Resharding。

  • Resharding只適用簡單模型，不適用於專家模型。關於Hologres許可權模型介紹，詳情請參見Hologres許可權模型概述。

  • Resharding暫不保留表的動態分區屬性。

  • 僅Hologres V2.0及以上版本的Resharding操作支援保留列COMMENTS。如果您的執行個體版本低於V2.0，請提前備份列COMMENTS，並在Resharding完成後手動設定。

• 文法樣本

  • 如果您的執行個體為V2.0.24及以上版本，推薦使用HoloWeb進行Resharding操作，詳情請參見Table Resharding。

  • 如果您的執行個體版本低於V2.0.24，可以通過以下命令將業務的部分表遷移至建立的Table Group。如果執行個體版本低於V0.10，請先升級到更高版本。

  說明

  • 在遷移之前，需要有一個建立的Table Group，若是沒有建立Table Group，請參見建立Table Group進行建立。

  • 表遷移時需要停止對該表的寫入，查詢不受影響。

  • 原Table Group的表全部遷移後，原Table Group將會被自動刪除。若是因為業務需求需要建立多個Table Group，建議合理設定每個Table Group的Shard數。

  • 表遷移時分區表只需要操作父表即可。

  -- V1.1及以上版本命令文法
  CALL HG_MOVE_TABLE_TO_TABLE_GROUP('<table_name>','<new_table_group_name>');
  
  -- V0.10版本命令文法
  CALL HG_UPDATE_TABLE_SHARD_COUNT('<table_name>','<new_table_group_name>');

• 參數說明

  參數	說明	樣本
  table_name	需要遷移的表名。一次命令僅支援單表遷移，若是有多個表，需要多次執行。分區表只需要操作父表即可。	new_table
  table_group_name	新的Table Group名。	new_tg

• 異常處理

  Table Resharding過程中，會先將表設為唯讀狀態，而後通過暫存資料表的方式進行Table Group遷移。由於Resharding任務涉及資料匯入，可能需要執行較長時間，因此可能會出現多種異常情況，如OOM、手動終止任務等，此時原表會仍處於唯讀狀態，且資料庫中出現名為<initial_table_name>_xxxxxxxx的暫存資料表，此時需要根據如下情況進行操作：

  • Hologres執行個體版本低於 V2.0.24，請升級執行個體或提交工單解決，升級執行個體請參見執行個體升級。

  • Hologres執行個體版本為 V2.0.24及以上：

    • 如果您通過HoloWeb進行Resharding操作，請單擊繼續運行或取消任務，詳情請參見Table Resharding。

    • 如果您通過執行上述命令進行Resharding操作，請按以下步驟操作：

      1. 如果您希望繼續對該表進行Resharding：對中斷原因進行處理後，重新對該表運行HG_MOVE_TABLE_TO_TABLE_GROUP命令即可。

      2. 如果您希望取消Resharding並恢複初始狀態：請依次運行如下命令進行恢複：

         -- 取消原表的readonly屬性
         CALL set_table_property('<schema_name>.<table_name>','readonly','false');
         
         -- 清理暫存資料表
           -- 擷取暫存資料表名（分區表）
         SELECT schema_name,target_temp_table_name FROM hologres.hg_resharding_properties WHERE reshard_table_name = <schema_name>.<table_name> AND is_parent_table IS TRUE;
           -- 擷取暫存資料表名（非分區表）
         SELECT schema_name,target_temp_table_name FROM hologres.hg_resharding_properties WHERE reshard_table_name = <schema_name>.<table_name> AND is_parent_table IS FALSE AND is_sub_table IS FALSE;
           -- 清理暫存資料表
         DROP TABLE IF EXISTS <schema_name>.<target_temp_table_name>;
         
         -- 清理系統資料表。系統資料表中會記錄當前表的Resharding進度，如果希望取消任務，需要清理系統資料表中的對應資料
         CALL hologres.hg_internal_clear_resharding_properties('<schema_name>.<table_name>'); 

刪除Table Group

CALL HG_DROP_TABLE_GROUP('<tg_name>');

--刪除名為tg_8的Table Group
CALL HG_DROP_TABLE_GROUP('tg_8');

查看Shard與Worker的傾斜關係

Shard數與Worker個數存在一定的分配關係，詳情請參見Shard與計算節點Worker的關係。如果Worker個數與Shard分配不均，那麼很容易出現Worker資源傾斜，導致負載不均，資源得不到高效利用。因此在Hologres V1.3版本提供worker_info系統檢視表，用於查詢當前資料庫的Worker、Table Group和Shard之間的關係，從而協助排查解決傾斜問題，詳細的Worker資源傾斜排查請參見查看Worker傾斜關係。

使用最佳實務

Table Group是比較進階的功能，一般情況下，不建議業務建立Table Group以及修改Shard數。若是因為業務有不同的需求，可以按照最佳實務合理規劃，詳情請參見Table Group設定最佳實務。

常見問題

Resharding是個比較複雜的過程，涉及到建立暫存資料表、修改原始表唯讀狀態、寫入目標表、更換表名稱和記錄同步狀態等多個環節，如果中間環節因為某些原因出現異常，可能造成系統狀態不確定等問題，可通過以下方法進行排查。