云数据库 ClickHouse：版本发布记录

功能名称

描述

相关文档

企业版24.5.1.23258

• 新特性

  实例的查询引擎默认使用新analyzer。

  重要

  • 新analyzer具有更好的查询性能，但可能与部分旧版SQL不兼容，从而导致解析错误。

  • 新建的24.5企业版实例支持此功能，通过小版本升级至此版本的实例，会沿用之前版本的analyzer。

• bug修复

  • 修复使用groupArraySorted可能导致的系统宕机和内存泄露问题。

  • 修复使用跳数索引时结果错误的问题。

  • 修复特定条件下可能造成崩溃的问题。

• 性能优化

  • 在system.replicas表中添加readonly_duration字段，以便于进行问题排查和影响评估。

  • 日志保存位置从缓存调整至S3，降低日志对缓存盘的占用，提升部分场景下的缓存命中率。

  • 缩短了清理不活跃part的时间，优化了部分情况下的磁盘空间占用。

  • Kafka引擎默认从最新消息开始消费。

  • 调整默认数据保存格式为Packed，同时暂时关闭后台cache下载能力，优化OSS的带宽和IOPS占用。

  • 调小线程池参数max_insert_threads和max_final_threads，解决原线程池配置过大，导致线程间抢锁影响性能的问题。

• 稳定性优化

  • 启用内核兼容性能力。Profile级别的参数，可默认设置为新购实例时的版本默认设置，以防止在版本升级过程中，内核产生不兼容性，进而对业务造成影响。

  • 启用P2P元数据同步能力，调大operation_timeout_ms和session_timeout_ms，降低keeper的读写压力，避免部分情况下ClickHouse因keeper压力过大而无法启动或写入的问题。

• 进一步了解全新analyzer

• 在企业版24.5及以上版本实例中，SQL报错怎么处理？

• Fix MODIFY COLUMN MODIFY SETTINGS crash for special columns

• Fix LLVM's libunwind in the case when CFA register is RAX

功能名称

描述

相关文档

企业版24.2.16517

bug修复

• 修复因ZNOAUTH导致keeper无法启动的问题。

• 修复SharedMergeTree小概率崩溃问题。

• 修复查询system.numbers_mt表使用limit和offset时，index关键词无法使用的问题。

无

功能名称

描述

相关文档

企业版24.2.16502

bug修复

• 修复truncate database导致replicated database复制中断的问题。

• 修复小概率发生的part_log冗余问题。

• 修复设置allow_experimental_analyzer=1 时，group by中使用常量表达式导致报错的问题。

• 修复查询分布式表时出现Cannot convert column because it is non constant in source stream but must be constant in result.的报错问题。

• 修复查询条件包含column IS NULL时，查询出现Unknown identifier及Column is not under aggregate function的报错问题。

无

功能名称

描述

相关文档

社区兼容版23.8-1.3.2

修复异常重启导致ReplicatedMergeTree表只读的问题。

无

社区兼容版23.8-1.3.1

• 跟进官方版本v23.8.16.40。

• 默认打开text_log日志，记录日志等级为Warning、Error和Fatal的日志，可通过system.text_log进行查询。

• 默认关闭query_thread_log日志，以解决其占用大量磁盘空间的问题。

• 修复非预期shutdown导致分布式表分发阻塞的问题。

Merged commit

企业版24.2.2.16476

• 性能优化

  • 降低Serverless对资源调整的响应间隔，以避免弹性升降不及时导致查询被中断。

  • 调整了一些参数，以确保在一些场景下使用垂直算法Merge，从而提升Merge性能。

  • Replicated数据库引擎下，只允许创建数据不落本地磁盘的表引擎，用以避免使用错误而导致的各种问题。

  • 调整Keeper参数digest_enabled=1，开启实时一致性校验。

  • 调整Keeper参数async_replication=1，在保证读写一致性的情况下，提升多个节点间数据复制的性能。

  • 优化了OSS的QPS和带宽，使得在同样的业务负载下减少了OSS的QPS和带宽。

• bug修复

  • 修复keeper关闭会话可能会导致后续连接出错的问题。

  • 修复了部分由于内存统计不准确而导致SQL提前结束的问题。

  • 调整Keeper参数check_not_exists=1和create_if_not_exists=1，以避免ClickHouse-Server的一些调用下产生非预期报错。

24.2.2.16476企业版发布详情

功能名称

描述

相关文档

社区兼容版22.8-1.18.0

• 修复Kafka Engine crash的问题；

• 修复非预期shutdown导致分布式表分发阻塞的问题。

无

功能名称

描述

相关文档

企业版24.2.2.16399

• 新特性

  • 新增system表：用于调试DNS问题的system.dns_cache表。

  • 新增函数：mergeTreeIndex、generate_series、toMillisecond。

  • 新增语法

    • 新增直接授权指定用户查询/写入 View/Materialized View 的语法，不再需要对底层表显式授权。

    • 新增对 ATTACH PARTITION ALL的支持。

    • 允许在外部表结构中声明枚举。

• 变更

  • 不再支持新建ordinary引擎的数据库，存量ordinary引擎数据库可正常使用。

  • SHOW INDEX | INDEXES | INDICES | KEYS不再按主键列排序。

• 优化

  • 稳定性优化

    • 支持ClickHouse-Server 和 Keeper内核中内存软限随CCU动态调整，解除了Keeper最大支持内存过小的限制，并在一定程度上避免了OOM。

    • keeper为磁盘相关操作添加失败重试机制。

    • keeper在启动期间检测到无效快照时会中止启动，避免数据丢失。

    • 开启text_log，方便您自助排查问题。

  • 性能优化

    • 支持FileSystemCache随CCU规格动态变化（原先固定100GB）。

    • 默认压缩算法从LZ4HC(3)变为LZ4HC(2)，提高了查询效率，但压缩率有所降低。

    • 在内存中缓存一定数量的日志，提升keeper性能。

  • serverless优化

    • 关闭了Uncompressed Cache，降低服务器内存占用，以便弹降。

    • 优化MarkCache大小的设置逻辑，减少一些情况下的内存占用，以便弹降。

    • 支持调整为更激进的Serverless策略。（目前邀测）

• bug修复

  • 修复由于内存统计错误导致查询被意外终止的问题。

  • 修复重启实例后，第一个DDL报异常的问题。

  • 修复因OSS QPS限流导致插入中断的问题。

24.2.2.16399企业版发布详情

功能名称

描述

相关文档

社区兼容版23.8

• 新特性

  • 支持利用S3Queue表引擎从S3流式消费数据。

  • 支持zip、tar、7zip格式的压缩文件直接导入到clickhouse。

  • 支持truncate database。

  • 支持向量的直接加/减。

  • 支持Tuple的串联。

  • 报错提示中，增加数据库名/表名包的校正建议。

• 性能优化

  parquet、ORC、TSV、CSV、JSON等文件查询性能平均提升40%，部分查询性能提升4-5倍。

• clickhouse 23.8

• S3Queue

• direct import from zip, tar, 7zip

• truncate database

• parquet Performance Optimizations

功能名称

描述

相关文档

社区兼容版22.8

• 优化

  • 从MaxCompute外表导入数据时，增加支持独享Tunnel和在网络传输过程中进行数据压缩功能。

  • 默认打开text_log日志，记录日志等级为Warning、Error和Fatal的日志，可通过system.text_log进行查询。

  • 默认关闭query_thread_log日志，以解决其占用大量磁盘空间的问题。

• Bug修复

  • 修复数据类型DateTime64与Datetime/Date字段的类型转换问题和值比较问题。

  • 修复“Invalid number of rows in Chunk”报错问题。

从MaxCompute导入

社区兼容版21.8

• 新特性

  引入ClickHouse与ZooKeeper连接的 fallback session lifetime机制，平衡ZooKeeper节点之间的负载。

• Bug修复

  修复index_granularity=0导致的OOM问题。

无

功能名称

描述

相关文档

新购集群

新特性

云数据库ClickHouse集群支持在马来西亚（吉隆坡）地域售卖。

• 新建集群

• 社区兼容版计算节点费用

• 社区兼容版存储空间费用

• 社区兼容版备份空间费用

社区兼容版22.8

Bug修复

修复Date函数查询结果异常的问题。

无

规格变更

停售C4和S4规格。

无

功能名称

描述

相关文档

关闭数据备份

新特性

云数据库ClickHouse集群支持关闭数据备份。

数据备份

功能名称

描述

相关文档

预约重启集群

新特性

云数据库ClickHouse集群支持预约重启集群。

社区兼容版重启实例

标签管理

新特性

云数据库ClickHouse集群支持标签管理。

标签管理

ZooKeeper配置

新特性

云数据库ClickHouse集群默认提供4核8 GB的ZooKeeper规格，不收取费用。

无

功能名称

描述

相关文档

监控告警

新特性

ClickHouse控制台查看监控

升级内核大版本

新特性

云数据库ClickHouse社区兼容版集群支持通过集群间的数据迁移升级内核大版本。

通过迁移升级内核大版本

功能名称

描述

相关文档

CLB释放和挂载

新特性

在2021年12月01日之后创建云数据库ClickHouse社区兼容版集群支持CLB释放和挂载的功能。

CLB释放和挂载

账号管理

新特性

社区兼容版集群新增了SQL配置方式。

• 社区兼容版账号管理

• CREATE USER

• GRANT

功能名称

描述

相关文档

社区兼容版22.8

• 新特性

  • 扩展了Date32和DateTime64的存储时间范围，目前支持的范围是1900-01-01到2299-12-31。

  • 支持轻量级删除。

  • 支持SQL用户自定义函数和可执行的用户自定义函数。

  • 支持分区级别的预处理，解决预聚合问题。

• 性能优化

  • INSERT性能提升至原来的2倍。

  • 长列表类型IN查询性能提升至原来的3倍。

• Date32

• Datetime64

• DELETE Statement

• SQL User Defined Functions

• Executable User Defined Functions

• Projections

功能名称

描述

相关文档

配置参数

新特性

在2021年12月01日之后创建的云数据库ClickHouse集群支持XML模式和修改历史的功能。

config.xml参数修改

功能名称

描述

相关文档

升级内核小版本

新特性

在2021年12月01日之后购买的集群支持升级内核小版本，内核小版本的升级涉及性能提升、新功能或问题修复等。

升级内核小版本

设置可维护时间

新特性

云数据库ClickHouse支持批量修改单个或多个集群的可维护时间，在设置的可维护时间内对集群进行升级操作，保障集群的稳定性。

设置可维护时间

功能名称

描述

相关文档

监控告警

• 新特性

  新增监控项：

  • Inactive Data Part个数

  • TCP连接数

  • 运行Init Query个数

  • HTTP连接数

  • MaterializeMySQL个数

  • 失败Insert Query个数

  • Kafka外表个数

  • 失败Select Query个数

  • MaterializeMySQL同步失败个数

  • Kafka外表消费发生错误个数

• 优化

  增强实例可用性和异常监控，提升运维稳定性。

ClickHouse控制台查看监控

功能名称

描述

相关文档

备份恢复

新特性

版本为20.3、20.8和21.8的云数据库ClickHouse集群支持数据备份和数据恢复功能。

• 数据备份

• 数据恢复

功能名称

描述

相关文档

HTTPS协议

新特性

支持HTTPS协议实现数据的加密传输。

• 开通HTTPS协议

• 通过HTTPS协议连接ClickHouse

MaterializedMySQL引擎升级

• 新特性

  兼容Enum脏数据。

• 优化

  • 优化全量同步，同步过程不锁表，从而减少业务影响。

  • 优化DDL同步，同步出现的异常信息会写入系统表中。

无

默认开启TCP的KeepAlive

新特性

默认开启TCP的KeepAlive，保证连接的可靠性。

无

功能名称

描述

相关文档

MaterializedMySQL引擎升级

新特性

MaterializedMySQL引擎支持Decimal类型。

无

功能名称

描述

相关文档

社区兼容版21.8

• 新特性

  • 支持更多SQL和JSON标准。

  • 新增MaterializedPostgreSQL表引擎和数据库引擎，允许进行库和表的同步复制。

  • 新增leftPad()、rightPad()、leftPadUTF8()和rightPadUTF8()函数。

  • 新增bin和unbin函数。

  • 在ADD INDEX命令中，新增FIRST关键字，将索引添加到索引列表的开头。

  • 在MapAdd和MapSubTract函数中，新增Map和UInt128、Int128、UInt256、Int256类型。

  • 支持DISTINCT ON (columns)表达式。

• 优化

  降低从表中读取多列数据的短查询延迟。

无

功能名称

描述

相关文档

Binlog预留功能

MaterializeMySQL引擎支持通过配置参数enable_binlog_reserved开启Binlog预留功能，避免Binlog清理导致的无法正常同步数据的问题，从而提升MaterializeMySQL引擎的稳定性。

MaterializeMySQL引擎

功能名称

描述

相关文档

重启实例

云数据库ClickHouse支持重启实例。遇到实例不可用或者需要重启解决的问题时，用户可以自助完成重启。

社区兼容版重启实例

监控优化

提升页面流畅度，优化监控体验。

无

RDS MySQL分析实例

云数据库ClickHouse支持通过RDS MySQL分析实例将数据同步到云数据库ClickHouse中，进行企业数据的集中分析。

创建云ClickHouse分析实例

功能名称

描述

相关文档

云实例迁移

控制台上发布云实例迁移功能，实现相同内核版本实例之间或低版本实例向高版本实例的数据迁移。

云数据库ClickHouse集群间的数据迁移

功能名称

描述

相关文档

支持选择扩容方式

水平扩容，新增一种扩容方式——简单扩容。用户进行水平扩容时，可以选择：

• 迁移扩容

• 简单扩容

水平扩容和水平缩容

MaterializedMySQL升级

• 完善对于JSON、TIME、YEAR数据类型的支持。

• 修复了key关键字、增量建表的bug。

• 支持两个配置参数：

  • 支持skip_error_count

  • 支持 alter include_tables

MaterializeMySQL引擎

水平扩缩容性能优化

优化clickhouse-copier，加快扩缩容效率。

社区兼容版集群垂直变配和水平扩缩容

功能名称

描述

相关文档

备份恢复

发布备份恢复功能，避免数据意外丢失，提高数据安全性。

数据备份

功能名称

描述

相关文档

冷热数据分层

支持自动冷热数据迁移，保证性能前提下，存储成本降低80%以上。

冷热数据分层存储

支持ESSD PL2，ESSD PL3云盘

支持ESSD PL2，ESSD PL3云盘存储，IO吞吐效率提升数倍。

无

云盘加密

基于块存储对整个数据盘进行加密，即使数据备份泄露也无法解密，保护数据安全。

云盘加密

功能名称

描述

相关文档

华北5（呼和浩特）和中国香港地区正式开服

无

无

日志投递链路优化发布

支持SLS日志数据投递到ClickHouse进行实时日志分析。

从SLS同步

功能名称

描述

相关文档

华北3（张家口）、西南1（成都）、日本（东京）地区正式开服

无

无

发布控制台账号管理、数据库和数据字典权限管理功能

用户登录控制台进行新账号的创建和密码修改；支持对新用户和已有用户进行数据库和数据字典的权限修改。

社区兼容版账号管理

全局参数修改

用户登录产品控制台可直接完成全局参数修改和生效重启。

config.xml参数修改

功能名称

描述

相关文档

数据均衡扩容

保证增加集群节点时数据分布均匀，避免数据倾斜问题。

无

请求查询管理

请求查询管理功能，支持慢SQL定位和运行请求中断。

查询管理SQL

新增4core 16G规格

新增4Core16G规格，提高单节点处理能力。

计费项

数据字典

支持控制台配置数据字典，当业务中有常量数据或者业务数据可以划分为业务事实表和业务维度表，通过数据字典来替代维度表，直接查询字典获得维度数据，增加查询效率。

数据字典

资源队列

解决开源版中单个大查询消耗资源过多导致实例宕机问题。

ClickHouse资源队列

功能名称

描述

相关文档

接入Quick BI

支持在Quick BI中添加ClickHouse数据源并通过Quick BI构建BI系统。

Quick BI

功能名称

描述

相关文档

20.3版本

发布内核20.3.10.75版，修复多处内核bug，增强稳定性。

无

支持MySQL数据迁移和实时同步导入

支持MySQL数据迁移和同步导入，实现业务数据实时加速分析，实现业务实时交互式运营分析。

从MySQL导入数据。

发布在线日志投递分析功能

企业用户只需要在云数据库ClickHouse中创建投递任务，将SLS中的用户行为日志数据在线投递到ClickHouse ，即可基于云数据库ClickHouse在线进行多维日志数据分析。

从SLS同步

功能名称

描述

相关文档

接入数据管理服务DMS

云数据库ClickHouse接入数据管理服务DMS，支持在线库、表管理，在线数据查询，在线SQL任务编排调度。

无

功能名称

描述

相关文档

增加新规格

在此前发布的C8规格基础之上，新增了C4、C24、C64、C104四个新规格，同时开通了HTTP端口。

计费项