云原生数据库 PolarDB：日志节点发布说明

类别

说明

优化

优化主备节点的复制逻辑。

优化CDC高可用模块心跳超时探测逻辑，以规避不必要的进程重启。

修复

修复因CDC老版本升级时系统表配置中缺少RuntimeVersion字段，从而导致升级中断的问题。

修复执行SHOW CREATE TABLE语句后，其结果中无WITH PARSER NGRAM属性的问题。

类别

说明

修复

修复CDC元数据针对REAL和DOUBLE类型在处理时，因为兼容性差异导致CDC链路中断的问题。

类别

说明

修复

修复执行单条SQL更新多张表的情况下，有概率出现连续的TableMapEvent从而导致TraceID乱序的问题。

类别

说明

修复

修复因单个计算节点不可用而导致CDC进程无法启动的问题。

修复因内存中的Offset值与Binlog文件的Offset值不一致而导致对Binlog文件进行Dump操作失败的问题。

类别

说明

修复

修复执行SHOW FULL BINARY LOGS语句后，返回信息不完整的问题。

修复CDC拓扑重建过程中，系统自动并发上传同一个Binlog文件，导致该文件最终丢失的问题。

修复SQL解析器对含有隐式表组的ALTER语句解析失败，以及打标语句不能被正确处理的问题。

修复CDC Dumper主备同步过程中，系统自动删除Master节点本地文件，导致复制链路无法自动恢复的问题。

类别

说明

新增

新增CDC（Change Data Capture，日志节点）支持定期构建同步位点（sync point）。

修复

修复binlog cursor未能按预期更新而导致消费过程中出现阻塞（block）的问题。

类别

说明

新增&优化

新增支持CDC（Change Data Capture，日志节点）定期构造Sync Point。

优化PolarDB-X 1.0至PolarDB-X 2.0的升级评估中全量数据校验的能力。

修复

修复因元数据变更导致全局Binlog生成失败的问题。

修复因请求的目标Binlog File为空，进而导致无法提供Binlog Dump服务的问题。

类别

说明

新增&优化

主从DDL复制新增支持针对function类型的复制。

主从DDL复制新增支持针对sequence类型的复制。

主从DDL复制新增支持针对view类型的复制。

主从DDL复制新增支持针对procedure类型的复制。

主从DDL复制新增支持针对账号、角色和权限类型的复制。

主从DDL复制新增支持针对alter tablegroup类型的复制。

主从DDL复制新增支持针对alter index类型的复制。

主从DDL复制新增支持针对多流binlog场景下的一致性协调对齐复制。

主从复制新增支持按时间戳创建复制链路能力。

主从复制新增通过SQL命令校验上下游数据一致性的能力。

主从复制新增从实例角色，Slave集群具备实例级只读的能力。

新增支持主从复制DML写入的where条件全镜像匹配能力。

新增支持多流binlog stream name和user name绑定，使用绑定账号执行binlog相关SQL时，无需增加with选项。

优化主从复制基于server_id的双向复制能力，新增命令行指定过滤规则和server_id异常自检能力。

修复

修复multi alter add/drop column语句导致元数据列序错误，进而导致的binlog链路中断的问题。

修复multi alter add/drop/rename index语句导致元数据丢失索引，进而导致binlog中记录错误DDL SQL的问题。

修复meta_build_physical_ddl_sql_blacklist_regex参数存在配置缺陷，导致alter ddl sql包含user关键字时ddl被过滤的问题。

修复drop index ddl sql无法输出到binlog的问题。

类别

说明

新增

新增show full binary logs、show full master status等binlog相关的运维指令。

修复

修复SQL闪回精确匹配失效的问题。

类别

说明

新增

新增show full master status命令。

优化

优化mysql binlog dump兼容性，支持checksum、heartbeat等参数。

类别

说明

新增

新增支持SQL闪回，并回滚整个事务。

修复

修复TSO心跳在binlog中的记录方式，解决下游MySQL Crash问题。

类别

说明

优化

优化grpc反压控制休眠时间，提升Binlog对外dump速度至130MB/s。

修复

修复设定时间范围后无DML/DDL导致SQL闪回无法结束的问题。

类别

说明

优化

优化Binlog数量较多时show binary logs语句的查询效率，并解决出现的卡慢问题。

修复

修复对JSON数据类型进行数据整形时缓冲区溢出的问题。

修复CDC升级过程中metaDB发生HA切换导致metaDataSource scan线程退出的问题。

修复binlog_dumper_info更新时的死锁问题。

类别

说明

新增&优化

新增支持flush logs语句。

优化透明消费对外dump的速度。

CDC获得DN连接不依赖is_vip。

CDC获取metadb连接去除管控依赖。

修复

修复包含BIGINT SIGNED列定义的建表语句及解析语法报错问题。

修复recover tso生成算法可能导致binlog list空洞的问题。

修复只读实例扩缩容后，Task dump主实例DN搜不到起始位点的问题。

类别

说明

新增

新增支持对transaction对象进行持久化，以降低内存占用。

修复

修复基于历史TSO进行恢复时，recover tso不能小于最近一次扩缩容打标事务的TSO的问题。

修复CDC Dumper主备同步过程中，Dumper Master本地文件被删导致grpc线程无法退出的问题。

类别

说明

修复

修复从OSS消费binlog时，可能触发心跳窗口冲突导致链路出错的问题。

修复针对TableMapEvent进行整形时概率性出现数据格式转换错误的问题。

修复DDL Event中Sql_Mode值和原始Sql_Mode不一致的问题。

修复针对nchar、nvarchar类型逻辑表和物理表元数据不一致的问题。

修复当ddl sql中包含换行符时转单行注释失效的问题。

类别

说明

优化&新增

新增支持对工作进程的CPU使用率进行监控统计。

新增支持对EPS进行更细粒度的监控（INSERT/UPDATE/DELETE）。

优化binlog文件上传OSS速度，bps提升至700MB/s。

新增CDC运维命令（start master/stop master/restart master/reset master）。

修复

修复透明消费离线binlog时，发生长时间block的问题。

修复binlog文件在读取过程中被删除导致dump线程无法退出的问题。

修复当物理DDL元数据过多时，reset master失败的问题。

修复DDL Event中Sql_Mode值和原始sql_mode不一致的问题。

修复同一个sql中同时包含add primary key和drop primary key，导致下游MySQL报错的问题。

类别

说明

修复

修复SchemaRepository执行完SQL之后，列序不符合预期的问题。

修复数据整形时，针对空字符串整形触发NPE的问题。

类别

说明

修复

修复元数据信息超过数据类型mediumtext的长度导致数据截断的问题。

类别

说明

修复

修复mysql charset未转换为java charset导致解析失败的问题。

类别

说明

优化

优化binlog同步链路恢复时间，RTO缩短至15S。

优化数据表数量达到几十万规模时，CDC元数据信息的恢复速度。

修复

修复透明消费binlog时可能发生的位点计算错误问题。

修复针对text(0)进行元数据一致校验时的兼容性问题。

类别

说明

修复

修复连续增加主键和删除主键，导致CDC链路中断的问题。

修复消费程序在进行binlog dump前，未发送COM_REGISTER_SLAVE引起CDC主动断连的问题。

修复多流数据路由，Hash值为Integer.MIN_VALUE时导致数据链路中断的问题。

类别

说明

新增&优化

支持多级归并，实现DN节点线性增加时，性能无明显衰减。

支持透明消费，下游消费程序通过dump协议，可直接消费归档到OSS的binlog文件，无需下游自行对接OSS。

支持多流binlog，可自定义流的个数，每条流拥有独立的binlog文件日志流。

支持定时构建全量元数据Snapshot，解决历史DDL打标记录过度膨胀问题。

支持从OSS并行下载binlog文件，提升实例恢复速度。

修复

修复触发binlog event数据整形时的兼容性和正确性问题，进一步提升DDL变更期间CDC链路的稳定性。

修复CDC集群发生重启后，下游订阅可能发生dump超时的问题。

修复Dumper进程初次启动时，计算的延迟时间有误的问题。