ApsaraDB for ClickHouse:ホットデータとコールドデータの階層ストレージ

前提条件

背景情報

• ホットデータは、頻繁にアクセスされ、拡張SSD (ESSD) またはウルトラディスクに保存されるデータです。 これらのディスクは、クラスターを作成するときに選択されます。 ホットデータストレージは、高性能なクエリを必要とするビジネスシナリオに適しています。

• コールドデータは、頻繁にアクセスされないデータです。 コールドデータは、コスト効率の高いストレージの要件を満たすために、低ストレージコストでコールドデータディスクに保存されます。

  ホットデータとコールドデータの階層ストレージは、次のストレージポリシーを提供します。

  ストレージポリシー	説明
  デフォルトのストレージポリシー	新しく書き込まれたデータは、効率的なクエリをサポートするためにホットデータディスクに保存されます。 格納されたホットデータの量が格納しきい値に達すると、ホットデータディスク内で最大サイズの部品データファイルが自動的にコールドデータディスクに移行されます。 このようにして、新たに書き込まれたホットデータをホットデータディスクに記憶することができる。
  生存時間 (TTL) に基づくストレージポリシー	デフォルトのストレージポリシーにTTL句を追加します。 このようにして、TTL句で指定された期間より前に生成されたすべてのデータは、自動的にコールドデータディスクに移行されます。

注意事項

• オフピーク時にのみホットデータとコールドデータの階層ストレージを有効にすることを推奨する場合。 ホットデータとコールドデータの階層ストレージを有効にすると、クラスターが再起動されます。 再起動中は、クラスター情報のみを表示できます。 クラスターのアップグレード、スケールアウト、スケールイン、またはパラメーター設定の変更はできません。

• ホットデータとコールドデータの階層ストレージを使用する場合、テーブルのストレージポリシーを指定する必要があります。

  • テーブルを作成するときは、SETTINGS storage_policy = 'hot_to_cold 'を使用してデータストレージポリシーを指定できます。

  • 既存のテーブルのデータストレージポリシーを変更できます。

    2024年1月1日以降に有効になったホットデータとコールドデータの階層ストレージを持つクラスター

    次のステートメントを実行して、データストレージポリシーを変更します。

    ALTER TABLE <table_name> MODIFY SETTING storage_policy = 'hot_to_cold';

    2024年1月1日より前に有効になったホットデータとコールドデータの階層ストレージを持つクラスター

    ホットおよびコールドデータストレージポリシーの追加を申請するチケットを起票します。 これにより、ポリシーを使用して、ホットデータディスクからコールドデータディスクにデータを移行できます。

• ホットデータとコールドデータの階層ストレージ機能は、この機能を有効にした後は無効にできません。

課金

• 次のルールに基づいて、ホットデータおよびコールドデータ機能の階層ストレージに対して課金されます。

  ストレージタイプ	課金の詳細
  ホットデータストレージ	クラスター用に購入するストレージ容量は、ホットデータ専用です。 クラスターを購入した後、ホットデータ用の追加ストレージを購入する必要はありません。
  コールドデータストレージ	従量課金の課金方法に基づいて、コールドデータストレージに対して課金されます。 ストレージを使用する前に、コールドデータ用のストレージを購入する必要はありません。 使用済みストレージに基づいて、1時間ごとにコールドデータストレージに対して課金されます。

• コールドデータストレージの単価の詳細については、「ApsaraDB For ClickHouseクラスターのストレージ料金」をご参照ください。

• 課金式: コールドストレージスペースの料金=コールドデータストレージの単価 × 使用済みコールドデータストレージ × 使用期間。

• たとえば、コールドデータストレージの単価がGB-時間あたりUSD 0.000026で、19:00から20:00まで2,000 GBのコールドデータが保存されている場合、合計料金は次の式に基づいて計算されます。GB-時間あたりUSD 0.000026 × 2,000 GB × 1時間=USD 0.052。 20:00〜21:00の間にコールドデータ用に500 GBのストレージスペースを解放した場合、1,500 GBのストレージのみが使用されます。 この場合、20:00〜21:00の間に発生する合計料金は、次の式に基づいて計算されます。GB時間あたりのUSD 0.000026 × 1,500 GB × 1時間=USD 0.039。

ホットデータとコールドデータの階層化ストレージの有効化

1. ApsaraDB for ClickHouse コンソールにログインします。

2. 上部のナビゲーションバーで、クラスターがデプロイされているリージョンを選択します。

3. [クラスター] ページで、[コミュニティ互換版のクラスター] タブをクリックし、管理するクラスターのIDをクリックします。

4. 左側のナビゲーションウィンドウで、[コールドおよびホットレイヤードストレージ] をクリックします。

5. クリックして階層ストレージを有効にするをクリックします。

6. [階層ストレージの有効化] メッセージで、[OK] をクリックします。

   その後、システムはクラスターを再起動します。 クラスターの状態が [設定の変更] から [実行中] に変更されると、ホットデータとコールドデータの階層ストレージが有効になります。

ホットデータとコールドデータの階層ストレージが有効化された後に使用されるデフォルトストレージポリシー

次の表に、ホットデータとコールドデータの階層ストレージが有効になった後に使用されるデフォルトのストレージポリシーのパラメーターを示します。

TTLベースの階層ストレージポリシーの追加

デフォルトのストレージポリシーにTTL句を追加します。 このようにして、TTL句で指定された期間より前に生成されたすべてのデータは、自動的にコールドデータディスクに移行されます。

TTL <time_column> + INTERVAL <number> TO DISK 'cold_disk'

例

CREATE TABLE ttl_test_tbl
(
    `f1` String,
    `f2` String,
    `f3` Int64,
    `f4` Float64,
    `date` Date
)
ENGINE = MergeTree()
PARTITION BY date
ORDER BY f1
TTL date + INTERVAL 90 DAY TO DISK 'cold_disk'
SETTINGS storage_policy = 'hot_to_cold';

ホットデータとコールドデータのTTLベースの階層化ストレージの変更

TTLベースの階層ストレージポリシーで、日付または日付タイプの列を指定するtime_columnパラメーターと間隔を指定するnumberパラメーターを変更できます。

ALTER TABLE <table_name> ON CLUSTER default MODIFY TTL <time_column> + INTERVAL <number> TO DISK 'cold_disk';

ホットデータディスクとコールドデータディスクのデータを移行する

• 次のステートメントを実行して、ホットデータディスクからコールドデータディスクにデータを移行します。

  ALTER TABLE <table_name> ON CLUSTER default MOVE PARTITION <partition> TO DISK 'cold_disk';

• 次の文を実行して、データをコールドデータディスクからホットデータディスクに移行します。

  ALTER TABLE <table_name> ON CLUSTER default MOVE PARTITION <partition> TO DISK 'default';

  説明

  partitionはパーティション名を指定します。 system.partsシステムテーブルで値を表示できます。

ホットデータディスクとコールドデータディスクのデータを表示する

• 次のステートメントを実行して、ホットデータディスク上のデータを表示します。

  SELECT * FROM system.parts WHERE database = '<db_name>' AND TABLE = '<tbl_name>' AND disk_name ='default' AND active = 1;

• 次のステートメントを実行して、コールドデータディスク上のデータを表示します。

  SELECT * FROM system.parts WHERE database = '<db_name>' AND TABLE = '<tbl_name>' AND disk_name ='cold_disk' AND active = 1;

ディスク領域の表示

SELECT * FROM system.disks;

┌─name─────┬─────────path───────────────────────────┬─free_space───────────┬─total_space ─────────┬─used_space───┬─keep_free_space───┬──type──┐
│ cold_disk│ /clickhouse/data/data/disks/cold_disk/ │ 18446744073709551615 │ 18446744073709551615 │ 115312080698 │   0               │   OSS  │
│ default  │ /clickhouse/data/data/                 │ 201663209472         │ 207083249664         │ 5420040192   │   0               │  local │ 
└ ───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────

SELECT move_ttl_info.min,move_ttl_info.max FROM system.parts WHERE database = '<db_name>'AND table = '<tb_name>'AND disk_name = 'default'