ApsaraDB for ClickHouse:ApsaraDB for ClickHouse Enterprise Edition

機能名

説明

参考資料

マルチゾーンデプロイメントへのアップグレードのサポート

新機能

Enterprise Edition クラスターをシングルゾーンからマルチゾーンデプロイメントにアップグレードできます。また、マルチゾーンクラスターのゾーンを移行することもできます。

マルチゾーンデプロイメントへのアップグレード

新機能

説明

参考資料

新しいストレージタイプ

新機能

Enterprise Edition クラスターは、ストレージオプションとして ESSD_L1 および ESSD_L2 をサポートします。

[お知らせ] パブリックプレビュー: ApsaraDB for ClickHouse Enterprise Edition のディスクストレージ

バージョン

説明

関連ドキュメント

Enterprise Edition 24.12

• 新機能

  • MergeTree テーブル用のプライマリインデックスキャッシュを実装しました。このキャッシュは use_primary_key_cache によって有効になります。マークキャッシュと同様のオンデマンド読み込みと、prewarm_primary_key_cache によるプリフェッチをサポートします。

  • Iceberg、Delta Lake、Hudi 用の Cluster テーブル関数を追加しました。列の順序や列名の変更、単純な型拡張など、Iceberg フォーマットのテーブルの読み取りサポートを実装しました。

• 改善

  JSON、Dynamic、Variant 型を実験的ステータスからベータステータスに昇格させました。

• パフォーマンスの最適化

  JOIN パフォーマンスを最適化しました。

ApsaraDB for ClickHouse Enterprise Edition V24.12 のリリースの詳細

バージョン

説明

リファレンス

Enterprise Edition 24.10

• 新機能

  • Refreshable Materialized Views が Enterprise Edition で有効になりました。

  • toStartOfInterval 関数が追加され、カスタム開始点での時間配置をサポートし、TimescaleDB および PostgreSQL の時間バケット機能との互換性を強化しました。

  • arrayZipUnaligned および arrayElementOrNull 関数が追加され、Spark との互換性と配列操作の柔軟性が向上しました。

• 修正された問題

  • 次の問題が修正されました：optimize_functions_to_subcolumns が有効な場合、列タイプのエラーが発生し、LowCardinality データ型を処理できません。

  • 次の問題が修正されました：不正確なメモリ統計により、SQL クエリが途中で終了します。

  • 次の問題が修正されました：空のフィールドが使用されている場合、JSON フォーマットのデータを解析できません。

  • 次の問題が修正されました：特定のケースでクエリキャッシュを正確に削除できません。

ApsaraDB for ClickHouse Enterprise Edition V24.10 のリリースの詳細

バージョン

説明

参考

Enterprise Edition 24.10

新機能

Enterprise Edition クラスターでデータバックアップとデータ復元機能がサポートされました。

• データバックアップ

• データ復元

バージョン

説明

参考文献

Enterprise Edition 24.8

• 新機能

  • ASOF JOIN 操作で full_sorting_join アルゴリズムがサポートされ、ソートベースの JOIN 操作の効率が向上しました。

  • percent_rank、changeYear、changeMonth などの関数が追加され、使いやすさが向上しました。

  • Hive スタイルのパーティショニングが導入され、File、URL、S3、AzureBlobStorage、HDFS などのさまざまなストレージエンジンをサポートし、大規模なデータセットの効率的なクエリと管理を可能にします。

• パフォーマンスの最適化

  • S3 テーブルエンジンのデータアクセスパフォーマンスが向上し、クエリが高速化されました。

  • メモリ割り当ての安定性が向上しました。

ApsaraDB for ClickHouse Enterprise Edition V24.8 のリリースの詳細

バージョン

説明

参考

Enterprise Edition 24.5.1.23258

• 新機能

  デフォルトでは、ApsaraDB for ClickHouse クラスターのクエリエンジンで新しいアナライザが使用されます。

  重要

  • 新しいアナライザはクエリパフォーマンスを向上させましたが、以前のバージョンの Enterprise Edition で使用されていた特定の SQL 文と互換性がない場合があります。これにより、解析エラーが発生する可能性があります。

  • この機能は、Enterprise Edition V24.5 を実行する新しいクラスターでサポートされています。クラスターのマイナーエンジンバージョンを V24.5 に更新した場合、クラスターは引き続き古いアナライザを使用します。

• 修正された問題

  • 次の問題が修正されました：groupArraySorted 関数を使用すると、システムのダウンタイムやメモリリークが発生する可能性があります。

  • 次の問題が修正されました：スキップインデックスを使用すると、クエリ結果が正しくありません。

  • 次の問題が修正されました：特定のケースで障害が発生する可能性があります。

• パフォーマンスの最適化

  • system.replicas テーブルに readonly_duration フィールドが追加され、トラブルシューティングと影響評価が容易になりました。

  • ログの保存場所がキャッシュから S3 に変更され、特定のシナリオでキャッシュ使用量が削減され、キャッシュヒット率が向上しました。

  • 非アクティブなデータパーツをクリーンアップする時間が短縮され、特定のケースでディスク使用率が最適化されました。

  • デフォルトでは、Kafka エンジンでの消費は最新のオフセットから開始されます。

  • デフォルトのデータストレージフォーマットが Packed に変更され、バックグラウンドでのキャッシュダウンロード機能が一時的に無効になり、Object Storage Service (OSS) による帯域幅と IOPS リソースの使用が最適化されました。

  • max_insert_threads および max_final_threads パラメーターの値が減少しました。パラメーターの元の値が大きすぎたため、スレッド間のロック競合が発生し、パフォーマンスに悪影響を及ぼしていました。

• 安定性の最適化

  • カーネルの互換性が有効になりました。プロファイルレベルのパラメーターは、クラスター作成時のバージョン設定で指定されたデフォルト値に設定できます。これにより、バージョンアップグレード中のカーネル変更による非互換性を防ぎ、ビジネス運用への影響を最小限に抑えます。

  • P2P メタデータ同期が有効になり、operation_timeout_ms および session_timeout_ms パラメーターの値が増加して、keeper ノードの読み取り/書き込みワークロードが削減されました。これにより、過剰なワークロードによるクラスターの起動失敗やデータ書き込みの問題を防ぎます。

• デフォルトで有効化されたアナライザ

• 同じ SQL 文が既存のインスタンスではエラーなく実行されるのに、バージョン 24.5 以降の Enterprise Edition インスタンスでは失敗します。どうすれば修正できますか？

• 特殊な列に対する MODIFY COLUMN MODIFY SETTINGS のクラッシュを修正

• CFA レジスタが RAX の場合に LLVM の libunwind を修正

バージョン

説明

参考資料

Enterprise Edition 24.2.16517

修正された問題

• 次の問題が修正されました：ZNOAUTH エラーにより keeper ノードが起動に失敗します。

• 次の問題が修正されました：まれに SharedMergeTree エンジンで障害が発生します。

• 次の問題が修正されました：system.numbers_mt テーブルのクエリで LIMIT と OFFSET を使用すると、INDEX キーワードを使用できません。

該当なし

バージョン

説明

参考資料

Enterprise Edition 24.2.16502

修正された問題

• 次の問題が修正されました：TRUNCATE DATABASE 操作がレプリケートされたデータベースのレプリケーションプロセスを中断します。

• 次の問題が修正されました：まれに part_log の冗長性の問題が発生します。

• 次の問題が修正されました：allow_experimental_analyzer=1 設定を有効にし、GROUP BY 句で定数式を使用すると、エラーが発生します。

• 次の問題が修正されました：分散テーブルをクエリすると、Cannot convert column because it is non constant in source stream but must be constant in result. エラーメッセージが表示されます。

• 次の問題が修正されました：クエリ条件で column IS NULL を使用すると、Unknown identifier および Column is not under aggregate function エラーメッセージが表示されます。

該当なし

バージョン

説明

関連ドキュメント

Enterprise Edition V24.2.2.16476

• パフォーマンスの最適化

  • サーバーレスクラスターのリソーススケーリングの応答間隔が短縮され、スケーリングの遅延によるクエリの中断を防ぎます。

  • 一部のシナリオで垂直マージアルゴリズムを使用してマージパフォーマンスを向上させるために、いくつかのパラメーターが追加されました。

  • Replicated データベースエンジンを使用する場合、ローカルディスクにデータを保存しないテーブルエンジンのみを作成できます。これにより、誤った構成や操作によって引き起こされるさまざまな問題を回避できます。

  • Keeper の digest_enabled パラメーターが 1 に設定され、リアルタイムのデータ整合性チェックが有効になりました。

  • Keeper の async_replication パラメーターが 1 に設定され、読み取り/書き込み一貫性を確保しながら、複数のノード間でのデータレプリケーションのパフォーマンスが向上しました。

  • 同じビジネス負荷に対して、Object Storage Service (OSS) へのアクセスに必要なクエリ/秒 (QPS) と帯域幅が削減されました。

• 修正された問題

  • 次の問題が修正されました：Keeper によってセッションが閉じられると、後続の接続が失敗する可能性があります。

  • 次の問題が修正されました：不正確なメモリ統計により、SQL クエリが途中で終了します。

  • Keeper の check_not_exists および create_if_not_exists パラメーターが 1 に設定され、ClickHouse サーバーが操作を実行する際に発生する予期しないエラーを回避します。

Enterprise Edition V24.2.2.16476

バージョン

説明

関連ドキュメント

Enterprise Edition V24.2.2.16399

• 新機能

  • system.dns_cache テーブルがサポートされ、Domain Name System (DNS) の問題をデバッグできます。

  • mergeTreeIndex、generate_series、toMillisecond 関数がサポートされました。

  • 新しい構文

    • 基になるテーブルに対する明示的な権限付与を必要とせずに、特定のユーザーにビューおよびマテリアライズドビューに対するクエリおよび書き込み権限を直接付与する構文がサポートされました。

    • ATTACH PARTITION ALL がサポートされました。

    • 外部テーブルの構造で列挙型を宣言できるようになりました。

• 変更点

  • 通常のデータベースは作成できません。既存の通常のデータベースは引き続き使用できます。

  • SHOW INDEX | INDEXES | INDICES | KEYS は、結果をプライマリキー列でソートしなくなりました。

• 最適化された機能

  • 安定性の最適化

    • ApsaraDB for ClickHouse サーバーと ApsaraDB for ClickHouse Keeper は、コンピュートキャパシティユニット (CCU) に基づいてメモリソフトリミットを動的に調整します。これにより、Keeper がサポートする最大メモリが小さいという制限が取り除かれ、メモリ不足 (OOM) の問題がある程度防止されます。

    • ApsaraDB for ClickHouse Keeper は、ディスク関連の操作が失敗した場合のリトライメカニズムを追加しました。

    • ApsaraDB for ClickHouse Keeper は、サービス起動中に無効なスナップショットが検出された場合、起動プロセスを停止します。これにより、データ損失を防ぐことができます。

    • text_log が有効になり、問題のトラブルシューティングに役立ちます。

  • パフォーマンスの最適化

    • FileSystemCache のサイズは、CCU に基づいて動的に調整できます。以前のバージョンでは、サイズは 100 GB に固定されていました。

    • デフォルトの圧縮アルゴリズムが LZ4HC(3) から LZ4HC(2) に変更され、圧縮率を犠牲にしてクエリ効率が向上しました。

    • Keeper のパフォーマンスを向上させるために、一定数のログがメモリにキャッシュされます。

  • サーバーレスの最適化

    • 非圧縮キャッシュが無効になり、弾力的なスケーリングのためにサーバーのメモリ使用量が削減されました。

    • マークキャッシュサイズのロジックが最適化され、弾力的なスケーリングのために一部のケースでメモリ使用量が削減されました。

    • より積極的なサーバーレスポリシーがサポートされています。この機能は招待プレビュー中です。

• 修正された問題

  • 次の問題が修正されました：メモリ統計エラーによりクエリが予期せず終了します。

  • 次の問題が修正されました：クラスターの再起動後に最初の DDL 文を実行すると例外が報告されます。

  • 次の問題が修正されました：OSS の QPS 制限により挿入が中断されます。

ApsaraDB for ClickHouse Enterprise Edition V24.2.2.16399 のリリースの詳細