ApsaraDB for MongoDB:MongoShakeを使用したApsaraDB for MongoDBインスタンス間の一方向同期の実行

ソースデータベース

宛先データベース

ECSでホストされる自己管理型MongoDBデータベース

ECSでホストされる自己管理型MongoDBデータベース

オンプレミスマシンでホストされる自己管理型MongoDBデータベース

オンプレミスマシンでホストされる自己管理型MongoDBデータベース

ApsaraDB for MongoDB インスタンス

ApsaraDB for MongoDB インスタンス

サードパーティのクラウド上のMongoDBデータベース

サードパーティのクラウド上のMongoDBデータベース

同期するデータソース

必要な権限

同期元の ApsaraDB for MongoDB インスタンス

readAnyDatabase権限、ローカルデータベースの読み取り権限、およびmongoshakeデータベースの読み取り /書き込み権限

同期先の ApsaraDB for MongoDB インスタンス

ターゲットデータベースに対するreadWriteAnyDatabaseの権限またはreadWrite権限

カテゴリ

パラメーター

説明

例

N/A

conf.version

設定ファイルのバージョン。 Do not change the value.

conf.version = 4

グローバル設定オプション

id

同期タスクのID。 この値はカスタマイズ可能です。 グローバル構成には、ログファイル名、チェックポイント情報を格納するデータベースの名前、およびターゲットデータベースの名前が含まれます。

id = mongoshake

master_quorum

MongoShakeノードが高可用性シナリオのアクティブノードであるかどうかを指定します。 アクティブなMongoShakeノードとスタンバイMongoShakeノードを使用して同じデータベースのデータを同期する場合、アクティブなMongoShakeノードに対してこのパラメーターをtrueに設定します。

master_quorum = false

full_sync.http_port

インターネット上のMongoShakeで完全なデータ同期のステータスを表示するために使用されるHTTPポート。

full_sync.http_port = 9101

incr_sync.http_port

インターネット上のMongoShakeで増分データ同期のステータスを表示するために使用されるHTTPポート。

incr_sync.http_port = 9100

system_profile_port

内部スタック情報の表示に使用されるプロファイリングポート。

system_profile_port = 9200

log.level

生成されるログのレベル。 有効な値：

• error: エラーメッセージを含むログを生成します。

• warning: 警告を含むログを生成します。

• info: システムステータスを示すログを生成します。

• debug: デバッグ情報を含むログを生成します。

デフォルト値: info

log.level = info

log.dir

ログファイルとPIDファイルが保存されているディレクトリ。 このパラメーターを設定しない場合、ログファイルとPIDファイルは作業ディレクトリのログディレクトリに格納されます。

log.dir= /logs /

log.file

ログファイルの名前。 この値はカスタマイズ可能です。

log.file = collector.log

log.flush

すべてのログエントリを画面に表示するかどうかを指定します。 有効な値：

• true: すべてのログエントリが画面に表示されます。 これにより、画面上にログエントリが欠落しないようになりますが、パフォーマンスが低下します。

• false: すべてのログエントリが画面に表示されるわけではありません。 これによりパフォーマンスが保証されますが、一部のログエントリが画面に表示されない場合があります。

log.flush = false

sync_mode

データの同期方法。 有効な値：

• all: 完全データ同期と増分データ同期の両方を実行します。

• full: 完全なデータ同期のみを実行します。

• incr: 増分データ同期のみを実行します。

sync_mode=すべて

mongo_urls

ソースApsaraDB for MongoDBインスタンスの接続文字列URI。 データベースアカウントはtestで、データベースはadminです。

mongo_urls = mongodb:// test:**** @ dds-bp19f409d7512 **** .mongodb.rds.aliyuncs.com:3717、dds-bp19f409d7512 **** .mongodb.rds.aliyuncs.com:3717

mongo_cs_url

ConfigServerノードのエンドポイント。 ソースApsaraDB for MongoDBインスタンスがシャードクラスターインスタンスの場合、このパラメーターを設定する必要があります。 ConfigServerノードのエンドポイントを申請する方法の詳細については、「シャードまたはConfigServerノードのエンドポイントを申請する」をご参照ください。

データベースアカウントはtestで、データベースはadminです。

mongo_cs_url = mongodb:// test:**** @ dds-bp19f409d7512 **** -csxxx.mongodb.rds.aliyuncs.com:3717,dds-bp19f409d7512 **** -csxxx.mongodb.rds.aliyuncs.com:3717/admin

mongo_s_url

mongosノードのエンドポイント。 ソースApsaraDB for MongoDBインスタンスがシャードクラスターインスタンスの場合、このパラメーターを設定する必要があります。 少なくとも1つのmongosノードのエンドポイントを指定する必要があります。 複数のmongosノードのエンドポイントをコンマ (,) で区切ります。 mongosノードのエンドポイントを申請する方法の詳細については、「シャードまたはConfigServerノードのエンドポイントを申請する」をご参照ください。

データベースアカウントはtestで、データベースはadminです。

mongos_s_url = mongodb:// test:**** @ s-bp19f409d7512 **** .mongodb.rds.aliyuncs.com:3717、s-bp19f409d7512 **** .mongodb.rds.aliyuncs.com:3717/admin

tunnel

同期に使用されるトンネルのタイプ。 有効な値：

• direct: ターゲットApsaraDB for MongoDBインスタンスにデータを直接同期します。

• rpc: NET/RPCを使用してデータを同期します。

• tcp: TCPを使用してデータを同期します。

• file: ファイルを転送してデータを同期します。

• kafka: Kafkaを使用してデータを同期します。

• mock: トンネルにデータを書き込まずにテストにのみ使用されます。

トンネル=直接

tunnel.address

トンネルを介してターゲットApsaraDB for MongoDBインスタンスに接続するために使用されるアドレス。

• tunnelパラメーターがdirectに設定されている場合、tunnel.addressパラメーターをターゲットApsaraDB for MongoDBインスタンスの接続文字列URIに設定します。

• tunnelパラメーターがrpcに設定されている場合、tunnel.addressパラメーターを宛先ApsaraDB for MongoDBインスタンスへのRPC接続で使用されるレシーバソケットアドレスに設定します。

• tunnelパラメーターがtcpに設定されている場合、tunnel.addressパラメーターを宛先ApsaraDB for MongoDBインスタンスへのTCP接続で使用されるレシーバソケットアドレスに設定します。

• tunnelパラメーターがfileに設定されている場合、tunnel.addressパラメーターをターゲットApsaraDB for MongoDBインスタンスのファイルパスに設定します。

• tunnelパラメーターがkafkaに設定されている場合、tunnel.addressパラメーターをKafkaのブローカーサーバーアドレスに設定します。 例: topic @ brokers1,brokers2

• tunnelパラメーターがmockに設定されている場合、tunnel.addressパラメーターを設定する必要はありません。

データベースアカウントはtestで、データベースはadminです。

tunnel.address = mongodb:// test:**** @ dds-bp19f409d7512 **** .mongodb.rds.aliyuncs.com:3717、dds-bp19f409d7512 **** .mongodb.rds.aliyuncs.com:3717

tunnel.message

トンネルに書き込まれるデータのタイプ。 このパラメーターは、tunnelパラメーターがkafkaまたはfileに設定されている場合にのみ有効です。 有効な値：

• raw: 元の形式でデータを書き込みます。 データはバッチで集約され、一度に書き込まれたり読み取られたりします。

• json: データを直接読み取ることができるように、JSON形式でデータをKafkaに書き込みます。

• bson: バイナリJSON (BSON) 形式でデータをKafkaに書き込みます。

tunnel.message = raw

mongo_connect_mode

MongoShakeがデータをプルするノードのタイプ。 このパラメーターは、tunnelパラメーターがdirectに設定されている場合にのみ有効です。 有効な値：

• primary: プライマリノードからデータをプルします。

• secondaryPreferred: セカンダリノードからデータをプルします。

• standalone: 指定された単一ノードからデータを取得します。

mongo_connect_mode = secondaryPreferred

filter.namespace.black

データ同期用の名前空間ブラックリスト。 指定された名前空間は、同期先データベースに同期されません。 複数の名前空間はセミコロン (;) で区切ります。

filter.name space.black = mongodbtest.customer;testdata.test123

filter.namespace.white

データ同期のホワイトリスト。 指定された名前空間のみがターゲットデータベースに同期されます。 複数の名前空間はセミコロン (;) で区切ります。

filter.name space.white = mongodbtest.customer;test123

filter.pass.special.db

データを同期先データベースに同期するための特別なデータベース。 複数の特殊データベースを指定できます。 デフォルトでは、admin、local、mongoshake、config、system.viewsなどの特別なデータベースのデータは同期されません。 このパラメーターを設定して、特別なデータベースのデータを同期できます。 複数のデータベース名をセミコロン (;) で区切ります。

filter.pass.special.db = admin;mongoshake

フィルター. ddl_enable

DDL操作を同期するかどうかを指定します。 有効な値：

• true

• false

filter.ddl_enable = false

checkpoint.storage.url

再開可能な送信に使用されるチェックポイントの保存場所。 このパラメーターを設定しない場合、MongoShakeはソースApsaraDB for MongoDBインスタンスのタイプに基づいて、次のデータベースにチェックポイントを書き込みます。

• レプリカセットインスタンス: MongoShakeはチェックポイントをmongoshakeデータベースに書き込みます。

• シャードクラスターインスタンス: MongoShakeはConfigServerノードのadminデータベースにチェックポイントを書き込みます。

データベースアカウントはtestで、データベースはadminです。

checkpoint.storage.url = mongodb:// test:**** @ dds-bp19f409d7512 **** .mongodb.rds.aliyuncs.com:3717、dds-bp19f409d7512 **** .mongodb.rds.aliyuncs.com:3717

checkpoint.storage.db

チェックポイントを格納するデータベースの名前。

checkpoint.storage.db = mongoshake

checkpoint.storage.collection

チェックポイントを格納するコレクションの名前。 アクティブなMongoShakeノードとスタンバイのMongoShakeノードを使用して同じデータベースのデータを同期する場合、このコレクション名を変更して、重複するコレクション名による競合を回避できます。

checkpoint.storage.collection = ckpt_default

checkpoint.start_position

再開可能な送信の開始位置。 チェックポイントが存在する場合、このパラメーターは無効です。 このパラメーターの値をYYYY-MM-DDTHH:MM:SSZの形式で指定します。

checkpoint.start_position = 1970-01-01T00:00:00Z

transform.nameスペース

移行元データベースまたは移行先データベースのコレクションの名前を変更するためのルール。 たとえば、ターゲットデータベースのデータベース名とコレクション名をデータベースA. コレクションBからデータベースC. コレクションDに変更します。

transform.nameスペース=fromA.fromB:toC.toD

フルデータ同期オプション

full_sync.reader.collection_parallel

MongoShakeによって一度に同時にプルできるコレクションの最大数。

full_sync.reader.collection_parallel = 6

full_sync.reader.write_document_parallel

コレクションの書き込みにMongoShakeによって使用される同時スレッドの数。

full_sync.reader.write_document_parallel = 8

full_sync.reader.document_batch_size

一度にターゲットApsaraDB for MongoDBインスタンスに書き込まれるドキュメントの数。 たとえば、値128は、128のドキュメントが一度にターゲットApsaraDB For MongoDBインスタンスに書き込まれることを示します。

full_sync.reader.document_batch_size = 128

full_sync.collection_exist_drop

同期前にソースコレクションと同じ名前を持つターゲットデータベースのコレクションを削除するかどうかを指定します。 有効な値：

• true: 同期前のソースコレクションと同じ名前を持つターゲットデータベースのコレクションを削除します。

  警告

  このオプションは、ターゲットデータベースのコレクションを削除します。 そのため, 事前に収集先データベースの収集データをバックアップしてください。

• false: エラーメッセージを返し、ターゲットデータベースのコレクションがソースデータベースのコレクションと同じ名前である場合は終了します。

full_sync.collection_exist_drop = true

full_sync.create_index

同期完了後にインデックスを作成するかどうかを指定します。 有効な値：

• フォアグラウンド: フォアグラウンドにインデックスが作成されます。

• background: インデックスはバックグラウンドで作成されます。

• none: インデックスは作成されません。

full_sync.create_index = none

full_sync.executor.insert_on_dup_update

ターゲットデータベースのドキュメントの値がソースデータベースのドキュメントと同じ _idの場合、INSERTステートメントをUPDATEステートメントに変更するかどうかを指定します。 有効な値：

• true

• false

full_sync.executor.insert_on_dup_update = false

full_sync.executor.filter.orphan_document

ソースApsaraDB for MongoDBインスタンスがシャードクラスターインスタンスの場合、孤立したドキュメントを除外するかどうかを指定します。 有効な値：

• true

• false

full_sync.executor.filter.orphan_document = false

full_sync.executor.majority_enable

ターゲットApsaraDB for MongoDBインスタンスで多数決書き込み機能を有効にするかどうかを指定します。 有効な値：

• true

• false

full_sync.executor.majority_enable = false

増分データ同期オプション

incr_sync.mongo_fetch_method

増分データをプルするために使用されるメソッド。 有効な値：

• oplog: ソースデータベースからoplogを取得します。

• change_stream: ソースデータベースから変更イベントを取得します。 MongoDB 4.0以降のみがこのメソッドをサポートしています。

デフォルト値: oplog

incr_sync.mongo_fetch_method = oplog

incr_sync.oplog.gids

ApsaraDB for MongoDBインスタンスの双方向レプリケーションの実装に使用されるグローバルID。

incr_sync.oplog.gids = xxxxxxxxxxxx

incr_sync.shard_key

内部ワーカースレッドに同時要求を分散するために使用されるメソッド。 このパラメーター値は変更しないでください。

incr_sync.shard_key=コレクション

incr_sync.worker

oplogの送信に使用される同時スレッドの数。 インスタンスが十分なパフォーマンスを提供する場合は、同時スレッドの数を増やすことができます。

incr_sync.worker = 8

incr_sync.worker.oplog_compressor

データを解凍してネットワーク帯域幅の使用を減らすかどうかを指定します。 有効な値：

• none: 圧縮されたデータはありません。

• gzip: データはGZIP形式で圧縮されます。

• zlib: データはZLIB形式で圧縮されます。

• deflate: データはDEFLATE形式で圧縮されます。

incr_sync.worker.oplog_compressor = none

incr_sync.target_delay

ソースとターゲットのApsaraDB for MongoDBインスタンス間でデータを同期するための遅延時間。 既定では、ソースデータベースの変更はターゲットデータベースにリアルタイムで同期されます。 無効な操作を回避するには、このパラメーターを設定して同期を遅延させます。 たとえば、incr_sync.target_delayパラメーターを1800に設定した場合、同期は30分遅延します。 単位は秒です。

incr_sync.target_delay = 1800

incr_sync.worker.batch_queue_size

MongoShakeで内部キューを設定するためのパラメーター。 特に必要がない限り、これらのパラメータを変更しないでください。

incr_sync.worker.batch_queue_size = 64

incr_sync.adaptive.batching_max_size

incr_sync.adaptive.batching_max_size = 1024

incr_sync.fetcher.buffer_capacity

incr_sync.fetcher.buffer_capacity = 256

直接同期オプション (トンネルパラメータがDirectに設定されている場合にのみ有効)

incr_sync.executor.upsert

ターゲットデータベースのドキュメントがソースデータベースのドキュメントと同じ _id値または一意のインデックスを持つ場合、UPDATEステートメントをINSERTステートメントに変更するかどうかを指定します。 有効な値：

• true

• false

incr_sync.executor.upsert = false

incr_sync.executor.insert_on_dup_update

ターゲットデータベースのドキュメントに、ソースデータベースのドキュメントと同じ _id値または一意のインデックスがない場合、INSERTステートメントをUPDATEステートメントに変更するかどうかを指定します。 有効な値：

• true

• false

incr_sync.executor.insert_on_dup_update = false

incr_sync.conflict_write_to

同期中に書き込みの競合が発生した場合に、競合するドキュメントを記録するかどうかを指定します。 有効な値：

• none: 競合文書は記録されません。

• db: 競合ログはmongoshake_conflictデータベースに書き込まれます。

• sdk: 競合ログはSDKに書き込まれます。

incr_sync.conflict_write_to = none

incr_sync.executor.majority_enable

ターゲットApsaraDB for MongoDBインスタンスで多数決書き込み機能を有効にするかどうかを指定します。 有効な値：

• true

• false

incr_sync.executor.majority_enable = false