PolarDB:CDC ノードのリリースノート

カテゴリ

説明

新機能

クラスター化列ストアインデックス (CCI) のパーティションキーとソートキーを変更できるようになりました。この機能により、データ管理の柔軟性が向上し、インデックスを完全に再構築することなく CCI のデータ分布とソートポリシーを調整できるため、クエリパフォーマンスが最適化されます。

修正された問題

シングルストリームバイナリロギングサービスシナリオでデータノード (DN) がデータストリームを中断する可能性がある問題を修正しました。

カテゴリ

説明

新機能

CDC ノードは、バイナリログを生成する際に、アーカイブされたテーブルから生成された削除イベントをフィルターで除外できるようになりました。

カテゴリ

説明

新機能

マルチストリームバイナリログ: ストレージノードと Binlog ストリーム間の 1 対 1 のマッピングをサポートするようになりました。

機能の最適化

バイナリログのダンプ操作のメモリ管理を最適化しました。

下流システムへのバイナリログ出力時の CDC ノードのパフォーマンスを改善し、出力レートを向上させました。

CDC ノードからグローバルメタサービス (GMS) に送信される SQL 文を最適化し、GMS の負荷を軽減しました。

カテゴリ

説明

新機能

マルチストリームバイナリログ: ストレージノードと Binlog ストリーム間の 1 対 1 のマッピングのサポートを追加しました。

カテゴリ

説明

新機能と最適化

CHECK 制約がサポートされるようになりました。

CDC オフヒープダイレクトメモリの割り当てポリシーを最適化し、不十分なメモリ割り当てによるメモリ不足 (OOM) の問題を防止しました。

CDC の強制再起動メカニズムを最適化し、CDC ワーカープロセスがブロックされている場合でも強制再起動を可能にしました。

カテゴリ

説明

機能の最適化

単一のバイナリログファイルのデフォルトサイズを 1 GB に最適化しました。バイナリログファイル番号が 999,999 を超えた場合の自動回転のサポートを追加しました。

透過的に消費されるバイナリログファイルのダウンロードロジックを最適化しました。

カテゴリ

説明

機能の最適化

プライマリノードとセカンダリノードのレプリケーションロジックを最適化しました。

CDC 高可用性 (HA) モジュールのハートビートタイムアウト検出ロジックを最適化し、不要なプロセスの再起動を防止しました。

修正

システムテーブル構成に RuntimeVersion フィールドがなかったために、以前のバージョンの CDC からのアップグレードが中断される問題を修正しました。

次の問題が修正されました: SHOW CREATE TABLE 文の結果に WITH PARSER NGRAM 属性が含まれない。

カテゴリ

説明

修正された問題

CDC メタデータで REAL 型と DOUBLE 型を処理する際の互換性の違いにより、CDC リンクが中断される問題を修正しました。

カテゴリ

説明

修正された問題

単一の SQL 文が複数のテーブルを更新したときに連続した TableMapEvents が発生し、TraceID が乱れる問題を修正しました。

カテゴリ

説明

修正

単一の計算ノードが利用できなかったために CDC プロセスが起動に失敗する問題を修正しました。

メモリ内のオフセット値とファイル内のオフセット値が不整合だったために、バイナリログファイルのダンプ操作が失敗する問題を修正しました。

カテゴリ

説明

修正

SHOW FULL BINARY LOGS 文から返される情報が不完全である問題を修正しました。

CDC トポロジーの再構築中にシステムが同じファイルを同時にアップロードしたときに、バイナリログファイルが失われる問題を修正しました。

SQL パーサが暗黙的なテーブルグループを含む ALTER 文の解析に失敗し、マーキング文が正しく処理されない問題を修正しました。

レプリケーションリンクが自動的に回復されない問題を修正しました。この問題は、CDC Dumper のプライマリ-セカンダリ同期中にシステムがマスターノード上のローカルファイルを自動的に削除したために発生しました。

カテゴリ

説明

新機能

CDC ノードが定期的に同期ポイントを構築するサポートを追加しました。

修正された問題

バイナリログカーソルが期待どおりに更新されなかったために消費がブロックされる問題を修正しました。

カテゴリ

説明

新機能と最適化

CDC ノードが定期的に同期ポイントを構築するサポートを追加しました。

PolarDB-X 1.0 から PolarDB-X 2.0 へのアップグレード評価における完全データ検証機能を最適化しました。

修正

メタデータの変更によりグローバルバイナリログの生成に失敗する問題を修正しました。

リクエストされたターゲットバイナリログファイルが空だったために、バイナリログダンプサービスが提供できない問題を修正しました。

カテゴリ

説明

新機能と最適化

プライマリ/セカンダリ DDL レプリケーションが関数のレプリケーションをサポートするようになりました。

プライマリ/セカンダリ DDL レプリケーションがシーケンスのレプリケーションをサポートするようになりました。

プライマリ/セカンダリ DDL レプリケーションがビューのレプリケーションをサポートするようになりました。

プライマリ/セカンダリ DDL レプリケーションがプロシージャのレプリケーションをサポートするようになりました。

プライマリ/セカンダリ DDL レプリケーションがアカウント、ロール、権限のレプリケーションをサポートするようになりました。

プライマリ/セカンダリ DDL レプリケーションが alter tablegroup 操作のレプリケーションをサポートするようになりました。

プライマリ/セカンダリ DDL レプリケーションが alter index 操作のレプリケーションをサポートするようになりました。

プライマリ/セカンダリ DDL レプリケーションが、マルチストリームバイナリロギングシナリオでの整合性調整および整列レプリケーションをサポートするようになりました。

プライマリ/セカンダリレプリケーションが、タイムスタンプに基づくレプリケーションリンクの作成をサポートするようになりました。

プライマリ/セカンダリレプリケーションが、SQL コマンドを使用してアップストリームシステムとダウンストリームシステム間のデータ整合性を検証する機能をサポートするようになりました。

プライマリ/セカンダリレプリケーションにセカンダリインスタンスロールを追加しました。これにより、セカンダリクラスターはインスタンスレベルの読み取り専用機能を持つことができます。

プライマリ/セカンダリレプリケーションでの DML 書き込みに対する WHERE 条件の完全ミラーマッチングのサポートを追加しました。

マルチストリームバイナリログのストリーム名とユーザー名をバインドするサポートを追加しました。バインドされたアカウントを使用してバイナリログ関連の SQL 文を実行する場合、「with」オプションを追加する必要はありません。

プライマリ/セカンダリレプリケーションの server_id ベースの双方向レプリケーションを最適化しました。コマンドラインからフィルター規則を指定し、server_id の異常を自動的にチェックできるようになりました。

修正

MULTI ALTER ADD/DROP COLUMN 文が不正なメタデータ列順序を引き起こし、バイナリログリンクが中断される問題を修正しました。

<code class="blog-code" data-spm-anchor-id="idealab.4d3ad9aa.0.i906.30cc3d33BOOjw9" data-tag="code" id="e2aa63ca99p10">MULTI ALTER ADD/DROP/RENAME INDEX  を実行するとインデックスメタデータが消失し、バイナリログに不正な DDL 文が記録される問題を修正しました。

meta_build_physical_ddl_sql_blacklist_regex パラメーターの構成上の欠陥を修正しました。これにより、DDL 文に user キーワードが含まれている場合にフィルター処理されていました。

drop index DDL 文がバイナリログに出力できない問題を修正しました。

カテゴリ

説明

新機能

SHOW FULL BINARY LOGS や SHOW FULL MASTER STATUS などの binlog 関連の O&M 命令をサポートします。

修正された問題

SQL フラッシュバックの完全一致が失敗する問題を修正しました。

カテゴリ

説明

新機能

SHOW FULL MASTER STATUS コマンドを追加しました。

機能の最適化

チェックサムやハートビートなどのパラメーターをサポートすることで、MySQL バイナリログのダンプ互換性を向上させました。

カテゴリ

説明

新機能

トランザクション全体をロールバックするための SQL フラッシュバックのサポートを追加しました。

修正された問題

バイナリログでの TSO ハートビートの記録方法を修正し、下流の MySQL コンシューマーで発生する可能性のあるクラッシュの問題を解決しました。

カテゴリ

説明

機能の最適化

gRPC バックプレッシャーコントロールのスリープ時間を最適化し、外部 Binlog ダンプ速度を 130 MB/s に向上させました。

修正された問題

指定された時間範囲内に DML または DDL 操作が発生しなかったために SQL フラッシュバックが完了できない問題を修正しました。

カテゴリ

説明

機能の最適化

多数のバイナリログが存在する場合の SHOW BINARY LOGS 文のクエリ効率を最適化し、スロークエリの問題を解決しました。

修正

JSON データの整形時に発生するバッファオーバーフローの問題を修正しました。

CDC のアップグレード中に metaDB で高可用性 (HA) スイッチオーバーが発生したため、metaDataSource スキャンスレッドが終了する問題を修正しました。

binlog_dumper_info の更新時に発生するデッドロックの問題を修正しました。

カテゴリ

説明

新機能と最適化

FLUSH LOGS 文のサポートを追加しました。

透過的消費のための外部ダンプ速度を最適化しました。

CDC は DN 接続を取得するために is_vip に依存しなくなりました。

CDC が MetaDB 接続を取得するための制御依存関係を削除しました。

修正

BIGINT SIGNED 列定義を含むテーブル作成文で発生した解析構文エラーを修正しました。

recover tso 生成アルゴリズムがバイナリログリストにギャップを引き起こす可能性がある問題を修正しました。

読み取り専用インスタンスがスケールされた後、Task dump がプライマリインスタンス DN 上の開始オフセットを見つけられない問題を修正しました。

カテゴリ

説明

新機能

メモリ使用量を削減するために、トランザクションオブジェクトの永続化のサポートを追加しました。

修正

過去の TSO に基づく回復中に、`recover tso` が最新のスケーリングタグ付きトランザクションの TSO より小さくできない問題を修正しました。

CDC Dumper のプライマリ-セカンダリ同期中に Dumper Master 上のローカルファイルが削除されたために gRPC スレッドが終了できない問題を修正しました。

カテゴリ

説明

修正

OSS からバイナリログを消費する際にハートビートウィンドウの競合がトリガーされる問題を修正しました。この競合はリンクエラーを引き起こしました。

TableMapEvent の整形時にデータ形式変換エラーが発生する可能性がある問題を修正しました。

DDL イベントの Sql_Mode 値が元の Sql_Mode 値と一致しない問題を修正しました。

nchar 型と nvarchar 型の論理テーブルと物理テーブル間でメタデータが不整合になる問題を修正しました。

DDL SQL 文に改行が含まれている場合に単一行コメントへの変換に失敗する問題を修正しました。

カテゴリ

説明

新機能と最適化

ワーカープロセスの CPU 使用率の監視と統計収集のサポートを追加しました。

INSERT、UPDATE、および DELETE 操作に対する Events Per Second (EPS) のより高精度な監視のサポートを追加しました。

OSS へのバイナリログファイルのアップロード速度を最適化し、レートを 700 MB/s に向上させました。

start master、stop master、restart master、reset master などの CDC 運用保守 (O&M) コマンドを追加しました。

修正

オフラインバイナリログの透過的消費中に長いブロックが発生する問題を修正しました。

読み取り中にバイナリログファイルが削除されたためにダンプスレッドが終了できない問題を修正しました。

物理 DDL メタデータが多すぎる場合に `reset master` が失敗する問題を修正しました。

DDL イベントの Sql_Mode 値が元の sql_mode 値と一致しない問題を修正しました。

同じ SQL 文に ADD PRIMARY KEY と DROP PRIMARY KEY の両方が含まれているために下流の MySQL エラーが発生する問題を修正しました。

カテゴリ

説明

修正

SchemaRepository で SQL 文が実行された後、列の順序が期待どおりにならない問題を修正しました。

空の文字列を整形する際に NPE がトリガーされる問題を修正しました。

カテゴリ

説明

修正された問題

メタデータが mediumtext データ型の長さを超えたためにデータが切り捨てられる問題を修正しました。

カテゴリ

説明

修正された問題

MySQL charset が Java charset に変換されなかったために発生した解析の失敗を修正しました。

カテゴリ

説明

機能の最適化

バイナリログ同期リンクの回復時間を最適化し、RTO を 15 秒に短縮しました。

データテーブルの数が数十万に達した場合の CDC メタデータ情報の回復速度を最適化しました。

修正

バイナリログを透過的に消費する際の潜在的なオフセット計算エラーを修正しました。

メタデータ整合性チェックにおける text(0) に関連する互換性の問題を修正しました。

カテゴリ

説明

修正

プライマリキーの継続的な追加と削除により CDC リンクが中断される問題を修正しました。

コンシューマープログラムがバイナリログをダンプする前に COM_REGISTER_SLAVE を送信しなかったために CDC がアクティブに切断される問題を修正しました。

マルチストリームデータルーティングシナリオでハッシュ値が Integer.MIN_VALUE の場合にデータリンクが中断される問題を修正しました。

カテゴリ

説明

新機能と最適化

多段階マージのサポートを追加しました。これにより、DN ノードが線形に増加してもパフォーマンスが大幅に低下しないことが保証されます。

透過的消費のサポートを追加しました。下流のコンシューマープログラムは、自身で OSS に接続することなく、ダンププロトコルを使用して OSS にアーカイブされたバイナリログファイルを直接消費できます。

マルチストリームバイナリログのサポートを追加しました。ストリームの数をカスタマイズできます。各ストリームには独立したバイナリログファイルストリームがあります。

定期的に完全なメタデータスナップショットを構築するサポートを追加しました。これにより、過去の DDL タギングレコードの過剰な拡張の問題が解決されます。

インスタンスの回復速度を向上させるために、OSS からバイナリログファイルを並行してダウンロードするサポートを追加しました。

修正

バイナリログイベントデータの整形時の互換性と正確性の問題を修正しました。これにより、DDL 変更中の CDC リンクの安定性が向上します。

CDC クラスターの再起動後に下流のサブスクリプションでダンプタイムアウトが発生する可能性がある問題を修正しました。

Dumper プロセスが初めて起動したときに計算された待機時間が不正確である問題を修正しました。