このトピックでは、フルマネージド Flink でサポートされているメトリクスについて説明します。
使用上の注意
ソースによって報告されるメトリクスは、ソースの現在の状況のみを反映しており、問題の根本原因を特定するために使用することはできません。問題の根本原因を特定するには、補助的なメトリクスまたはツールを使用する必要があります。次の表では、特定のシナリオにおけるメトリクスについて説明します。
シナリオ
説明
デプロイメントのオペレーターにバックプレッシャーがかかっています。
バックプレッシャーを検出する最も直接的な方法は、メトリクスではなく、Flink UI が提供するバックプレッシャー検出機能です。バックプレッシャーが存在する場合、ソースがダウンストリームオペレーターにデータを送信する速度が低下します。この場合、sourceIdleTime メトリクスの値が定期的に増加し、currentFetchEventTimeLag メトリクスと currentEmitEventTimeLag メトリクスの値が継続的に増加する可能性があります。極端な場合、たとえばオペレーターがスタックしている場合、sourceIdleTime メトリクスの値は継続的に増加します。
ソースにパフォーマンスボトルネックがあります。
ソースのスループットだけが不十分な場合、デプロイメントでバックプレッシャーを検出することはできません。ソースは実行し続けるため、sourceIdleTime メトリクスは小さな値のままです。 currentFetchEventTimeLag メトリクスと currentEmitEventTimeLag メトリクスの値は大きく、互いに近くなります。
アップストリームでデータの偏りが発生するか、パーティションが空です。
データの偏りが発生した場合、またはパーティションが空の場合、1 つ以上のソースがアイドル状態になります。この場合、ソースの sourceIdleTime メトリクスの値は大きくなります。
デプロイメントのレイテンシが高い場合は、次の表に示すメトリクスを使用して、フルマネージド Flink のデータ処理能力と外部システムでのデータの保持を分析できます。
メトリクス
説明
sourceIdleTime
ソースがアイドル状態かどうかを示します。このメトリクスの値が大きい場合、データは外部システムで低速で生成されています。
currentFetchEventTimeLag と currentEmitEventTimeLag
フルマネージド Flink がデータを処理する際のレイテンシを示します。2 つのメトリクスの値の差に基づいて、ソースのデータ処理能力を分析できます。この差は、データがソースに保持される期間を示します。
2 つのメトリクスの値の差が小さい場合、ネットワーク I/O または並列処理に関連する問題が原因で、ソースは外部システムからデータを効率的にプルしていません。
2 つのメトリクスの値の差が大きい場合、データの解析、並列処理、またはバックプレッシャーに関連する問題が原因で、ソースはデータを効率的に処理していません。
pendingRecords
外部システムに保持されているデータの量を示します。
概要
メトリクス | 定義 | 説明 | 単位 | サポートされているコネクタ |
再起動回数 | デプロイメントのフェイルオーバーが発生したときにデプロイメントが再起動された回数。 | このメトリクスは、デプロイメントのフェイルオーバーが発生したときにデプロイメントが再起動された回数を示します。 JobManager のフェイルオーバーが発生したときにデプロイメントが再起動された回数は除外されます。このメトリクスは、デプロイメントの可用性と状態を確認するために使用されます。 | 回数 | 該当なし |
current Emit Event Time Lag | 処理レイテンシ。 | このメトリクスの値が大きい場合、システムがデータをプルまたは処理するときに、デプロイメントでデータレイテンシが発生する可能性があります。 | ミリ秒 |
|
current Fetch Event Time Lag | 送信レイテンシ。 | このメトリクスの値が大きい場合、システムがデータをプルするときに、デプロイメントでデータレイテンシが発生する可能性があります。この場合、ネットワーク I/O またはソースに関する情報を確認する必要があります。このメトリクスと currentEmitEventTimeLag メトリクスの値の差に基づいて、ソースのデータ処理能力を分析できます。2 つのメトリクスの値の差は、データがソースに保持される期間を示します。処理メカニズムは、miniBatch が有効になっているかどうかによって異なります。
| ミリ秒 |
|
numRecordsIn | すべてのオペレーターの入力データレコードの総数。 | このメトリクスの値がオペレーターで長時間増加しない場合、ソースからデータが失われている可能性があります。この場合、ソースのデータを確認する必要があります。 | 回数 | すべての組み込みコネクタ |
numRecordsOut | 出力データレコードの総数。 | このメトリクスの値がオペレーターで長時間増加しない場合、デプロイメントのコードロジックでエラーが発生し、データが失われている可能性があります。この場合、デプロイメントのコードロジックを確認する必要があります。 | 回数 | すべての組み込みコネクタ |
numRecordsInofSource | 各オペレーターのソースオペレーターに流れ込むデータレコードの総数。 | このメトリクスは、ソースに流れ込むデータレコードの数をチェックするために使用されます。 | 回数 |
|
numRecordsOutOfSink | シンクの出力データレコードの総数。 | このメトリクスは、ソースによってエクスポートされるデータレコードの数をチェックするために使用されます。 | 回数 |
|
numRecordsInPerSecond | すべてのデータストリームの1秒あたりの入力データレコード数。 | このメトリクスは、データストリーム全体の処理速度を監視するために使用されます。たとえば、numRecordsInPerSecond メトリクスの値を使用して、データストリーム全体の処理速度が予期される要件を満たしているかどうか、およびさまざまな入力データ負荷の下でデプロイメントのパフォーマンスがどのように変化するかを確認できます。 | データレコード/秒 | すべての組み込みコネクタ |
numRecordsOutPerSecond | すべてのデータストリームの1秒あたりの出力データレコード数。 | このメトリクスは、すべてのデータストリームの1秒あたりの出力データレコード数を監視するために使用されます。このメトリクスは、データストリーム全体の出力速度を監視するためにも使用されます。 たとえば、numRecordsOutPerSecond メトリクスの値を使用して、データストリーム全体の出力速度が予期される要件を満たしているかどうか、およびさまざまな出力データ負荷の下でデプロイメントのパフォーマンスがどのように変化するかを確認できます。 | データレコード/秒 | すべてのコネクタ |
numRecordsInOfSourcePerSecond (IN RPS) | ソースの1秒あたりの入力データレコード数。 | このメトリクスは、ソースの1秒あたりの入力データレコード数を監視し、ソースでデータレコードが生成される速度を監視するために使用されます。たとえば、生成できるデータレコードの数は、データソースのタイプによって異なります。 numRecordsInOfSourcePerSecond メトリクスの値を使用して、ソースでデータレコードが生成される速度を確認し、データストリームを調整してパフォーマンスを向上させることができます。このメトリクスは、監視とアラートにも使用されます。 このメトリクスの値が 0 の場合、ソースからデータが失われている可能性があります。この場合、ソースのデータが消費されないためにデータ出力がブロックされているかどうかを確認する必要があります。 | データレコード/秒 |
|
numRecordsOutOfSinkPerSecond (OUT RPS) | シンクの1秒あたりの出力データレコード数。 | このメトリクスは、シンクの1秒あたりの出力データレコード数を監視し、シンクからデータレコードがエクスポートされる速度を監視するために使用されます。たとえば、エクスポートできるデータレコードの数は、シンクのタイプによって異なります。 numRecordsOutOfSinkPerSecond メトリクスの値を使用して、シンクからデータレコードがエクスポートされる速度を確認し、データストリームを調整してパフォーマンスを向上させることができます。このメトリクスは、監視とアラートにも使用されます。このメトリクスの値が 0 の場合、デプロイメントのコードロジックの欠陥によりすべてのデータがフィルタリングされます。この場合、デプロイメントのコードロジックを確認する必要があります。 | データレコード/秒 |
|
pendingRecords | ソースによって読み取られていないデータレコードの数。 | このメトリクスは、ソースが外部システムからプルしていないデータレコードの数をチェックするために使用されます。 | 回数 |
|
sourceIdleTime | ソースでデータが処理されない時間。 | このメトリクスは、ソースがアイドル状態かどうかを指定します。このメトリクスの値が大きい場合、データは外部システムで低速で生成されています。 | ミリ秒 |
|
チェックポイント
メトリクス | 定義 | 説明 | 単位 |
チェックポイントの数 | チェックポイントの数。 | このメトリクスは、チェックポイントの概要を取得し、チェックポイントのアラートを設定するために使用されます。 | 回数 |
lastCheckpointDuration | 最後のチェックポイントが使用された時間。 | チェックポイントが長時間使用されている場合、またはタイムアウトした場合、考えられる原因は、状態データによって占有されているストレージ容量が過度に大きいこと、一時的なネットワークエラーが発生していること、バリアが調整されていないこと、またはデータのバックプレッシャーが存在することです。 | ミリ秒 |
lastCheckpointSize | 最後のチェックポイントのサイズ。 | このメトリクスは、アップロードされた最後のチェックポイントのサイズを表示するために使用されます。このメトリクスの値に基づいて、チェックポイントのボトルネック問題が発生した場合にチェックポイントのパフォーマンスを分析できます。 | バイト |
状態
状態アクセスレイテンシに関連するメトリクスを使用するには、メトリクスを指定する必要があります。フルマネージド Flink のコンソールの [ドラフトエディター] ページの [詳細設定] タブの [追加設定] セクションで、state.backend.latency-track.keyed-state-enabled
パラメーターを true に設定して、メトリクスを有効にする必要があります。状態アクセスレイテンシに関連するメトリクスを有効にすると、デプロイメントの実行中にデプロイメントのパフォーマンスに影響を与える可能性があります。
メトリック | 定義 | 説明 | 単位 | サポートされているバージョン |
State Clear Latency | 状態データのクリーンアップにおける最大レイテンシ。 | 状態データのクリーンアップのパフォーマンスを確認できます。 | ナノ秒 | Ververica Runtime(VVR) 4.0.0 以降を使用する Realtime Compute for Apache Flink のみで、これらのメトリックがサポートされています。 |
Value State Latency | 単一の ValueState アクセスにおける最大レイテンシ。 | ValueState アクセスパフォーマンスを確認できます。 | ナノ秒 | |
Aggregating State Latency | 単一の AggregatingState アクセスにおける最大レイテンシ。 | AggregatingState アクセスパフォーマンスを確認できます。 | ナノ秒 | |
Reducing State Latency | 単一の ReducingState アクセスにおける最大レイテンシ。 | ReducingState アクセスパフォーマンスを確認できます。 | ナノ秒 | |
Map State Latency | 単一の MapState アクセスにおける最大レイテンシ。 | MapState アクセスパフォーマンスを確認できます。 | ナノ秒 | |
List State Latency | 単一の ListState アクセスにおける最大レイテンシ。 | ListState アクセスパフォーマンスを確認できます。 | ナノ秒 | |
Sorted Map State Latency | 単一の SortedMapState アクセスにおける最大レイテンシ。 | SortedMapState アクセスパフォーマンスを確認できます。 | ナノ秒 | |
State Size | 状態データのサイズ。 | このメトリックは、次の操作を実行するのに役立ちます:
| バイト | VVR 4.0.12 以降を使用する Realtime Compute for Apache Flink のみで、このメトリックがサポートされています。 |
State File Size | 状態データファイルのサイズ。 | このメトリックは、次の操作を実行するのに役立ちます:
| バイト | VVR 4.0.13 以降を使用する Realtime Compute for Apache Flink のみで、このメトリックがサポートされています。 |
I/O
メトリック | 定義 | 説明 | 単位 | 対応コネクタ |
numBytesIn | 入力バイトの総数。 | このメトリックは、ソースの入力データレコードのサイズを確認するために使用されます。デプロイのスループットを観察するのに役立ちます。 | バイト |
|
numBytesInPerSecond | 1 秒あたりの入力バイトの総数。 | このメトリックは、ソースへのデータフローの速度を確認するために使用されます。デプロイのスループットを観察するのに役立ちます。 | バイト/秒 |
|
numBytesOut | 出力バイトの総数。 | このメトリックは、ソースの出力データレコードのサイズを確認するために使用されます。デプロイのスループットを観察するのに役立ちます。 | バイト |
|
numBytesOutPerSecond | 1 秒あたりの出力バイトの総数。 | このメトリックは、ソースによってエクスポートされるデータの速度を確認するために使用されます。デプロイのスループットを観察するのに役立ちます。 | バイト/秒 |
|
タスク numRecords I/O | 各サブタスクに流れ込むデータレコードと、各サブタスクによってエクスポートされるデータレコードの総数。 | このメトリックは、デプロイに I/O ボトルネックが存在するかどうかを確認するために使用されます。 | 件数 |
|
タスク numRecords I/O PerSecond | 1 秒あたりに各サブタスクに流れ込むデータレコードと、各サブタスクによってエクスポートされるデータレコードの総数。 | このメトリックは、デプロイに I/O ボトルネックが存在するかどうかを確認し、各サブタスクの入出力レートに基づいて I/O ボトルネックの重大度を判断するために使用されます。 | データレコード/秒 |
|
currentSendTime | 各サブタスクが最後のデータレコードをシンクにエクスポートするために必要な時間。 | このメトリックの値が小さい場合、データレコードは各サブタスクによってシンクに非常に遅い速度でエクスポートされます。 | ミリ秒 |
|
ウォーターマーク
メトリック | 定義 | 説明 | 単位 | 対応コネクタ |
タスク入力ウォーターマーク | 各タスクが最新のウォーターマークを受信する時刻。 | このメトリックは、TaskManagerによるデータ受信のレイテンシを確認するために使用されます。 | N/A | N/A |
ウォーターマークラグ | ウォーターマークのレイテンシ。 | このメトリックは、サブタスクのレイテンシを判断するために使用されます。 | ミリ秒 |
|
CPU
メトリック | 定義 | 説明 | 単位 |
JM CPU使用率 | JobManager の CPU使用率。 | このメトリックは、フルマネージド Flink によって占有されている CPU タイムスライスの使用率を示します。このパラメーターの値が 100% の場合、1 つの CPU コアが使用されています。このパラメーターの値が 400% の場合、4 つの CPU コアが使用されています。このメトリックの値が長期間にわたって 100% を超えている場合、JobManager の CPU はビジー状態です。CPU 負荷が高いにもかかわらず CPU 使用率が低い場合は、頻繁な読み取りおよび書き込み操作が原因で、割り込み不可能なスリープ状態のプロセスが多数実行されている可能性があります。 説明 VVR 6.0.6 以降を使用する Realtime Compute for Apache Flink のみ、このメトリックをサポートしています。 | N/A |
TM CPU使用率 | TaskManager の CPU使用率。 | このメトリックは、フルマネージド Flink によって占有されている CPU タイムスライスの使用率を示します。このパラメーターの値が 100% の場合、1 つの CPU コアが使用されています。このパラメーターの値が 400% の場合、4 つの CPU コアが使用されています。このメトリックの値が長期間にわたって 100% を超えている場合、TaskManager の CPU はビジー状態です。CPU 負荷が高いにもかかわらず CPU 使用率が低い場合は、頻繁な読み取りおよび書き込み操作が原因で、割り込み不可能なスリープ状態のプロセスが多数実行されている可能性があります。 | N/A |
メモリ
メトリック | 定義 | 説明 | 単位 |
JM ヒープメモリ | JobManager のヒープメモリ。 | このメトリックは、JobManager のヒープメモリの変化を確認するために使用されます。 | バイト |
JM 非ヒープメモリ | JobManager の非ヒープメモリ。 | このメトリックは、JobManager の非ヒープメモリの変化を確認するために使用されます。 | バイト |
TM ヒープメモリ | TaskManager のヒープメモリ。 | このメトリックは、TaskManager のヒープメモリの変化を確認するために使用されます。 | バイト |
TM 非ヒープメモリ | TaskManager の非ヒープメモリ。 | このメトリックは、TaskManager の非ヒープメモリの変化を確認するために使用されます。 | バイト |
TM メモリ (RSS) | Linux を使用したプロセス全体のメモリ。 | このメトリックは、プロセスのメモリの変化を確認するために使用されます。 | バイト |
JVM
メトリック | 定義 | 説明 | 単位 |
JM スレッド | JobManager のスレッド数。 | JobManager のスレッド数が多すぎると、過剰なメモリ領域が占有されます。これはデプロイの安定性を低下させます。 | 数 |
TM スレッド | TaskManager のスレッド数。 | TaskManager のスレッド数が多すぎると、過剰なメモリ領域が占有されます。これはデプロイの安定性を低下させます。 | 数 |
JM GC 回数 | JobManager のガベージコレクション ( GC ) が発生した回数。 | JobManager の GC が何度も発生すると、過剰なメモリ領域が占有されます。これはデプロイのパフォーマンスに影響します。このメトリックは、デプロイの診断とデプロイの障害処理に使用されます。 | 数 |
JM GC 時間 | JobManager の各 GC の期間。 | 各 GC の時間が長いと、過剰なメモリ領域が占有されます。これはデプロイのパフォーマンスに影響します。このメトリックは、デプロイの診断とデプロイの障害処理に使用されます。 | ミリ秒 |
TM GC 回数 | TaskManager の GC が発生した回数。 | TaskManager の GC が何度も発生すると、過剰なメモリ領域が占有されます。これはデプロイのパフォーマンスに影響します。このメトリックは、デプロイの診断とデプロイの障害処理に使用されます。 | 数 |
TM GC 時間 | TaskManager の各 GC の持続時間。 | 各 GC の時間が長いと、過剰なメモリ領域が占有されます。これはデプロイのパフォーマンスに影響します。このメトリックは、デプロイの診断とデプロイの障害処理に使用されます。 | ミリ秒 |
JM ClassLoader | JobManager が存在する Java 仮想マシン ( JVM ) が作成された後にロードまたはアンロードされたクラスの総数。 | JobManager が存在する JVM が作成された後、ロードまたはアンロードされたクラスの総数が過度に大きい場合、過剰なメモリ領域が占有されます。これはデプロイのパフォーマンスに影響します。 | N/A |
TM ClassLoader | TaskManager が存在する JVM が作成された後にロードまたはアンロードされたクラスの総数。 | TaskManager が存在する JVM が作成された後、ロードまたはアンロードされたクラスの総数が過度に大きい場合、過剰なメモリ領域が占有されます。これはデプロイのパフォーマンスに影響します。 | N/A |
MySQLコネクタ
メトリック | 定義 | 単位 | シナリオ | サポートされているバージョン |
isSnapshotting | ジョブがスナップショットフェーズにあるかどうかを指定します。値 1 は、ジョブがスナップショットフェーズにあることを示します。 | N/A | このメトリックは、ジョブの処理フェーズを示します。 | VVR 8.0.9 以後を使用する Apache Flink 用の Realtime Compute のみ、このパラメーターをサポートします。 |
isBinlogReading | ジョブが増分フェーズにあるかどうかを指定します。値 1 は、ジョブが増分フェーズにあることを示します。 | N/A | このメトリックは、ジョブの処理フェーズを示します。 | |
残りのテーブル数 | スナップショットフェーズで処理待ちのテーブルの数。 | 件数 | このメトリックは、未処理のテーブルの数を測定します。 | |
スナップショットされたテーブル数 | スナップショットフェーズで処理されたテーブルの数。 | 件数 | このメトリックは、処理されたテーブルの数を測定します。 | |
残りのSnapshotSplits数 | スナップショットフェーズで処理待ちのシャードの数。 | 件数 | このメトリックは、未処理のシャードの数を測定します。 | |
処理されたSnapshotSplits数 | スナップショットフェーズで処理されたシャードの数。 | 件数 | このメトリックは、処理されたシャードの数を測定します。 | |
currentFetchEventTimeLag | データが生成された時刻とデータベースからデータが読み取られた時刻の差。 | ミリ秒 | このメトリックは、データベースからのバイナリログの読み取りレイテンシを示します。 | |
currentReadTimestampMs | 読み取られた最新のデータレコードのタイムスタンプ。 | ミリ秒 | このメトリックは、読み取られた最新のデータレコードのタイムスタンプを示します。 | |
numRecordsIn | 読み取られたデータレコードの数。 | 件数 | このメトリックは、処理されたデータレコードの総数を測定します。 | |
numSnapshotRecords | スナップショットフェーズで処理されたデータレコードの数。 | 件数 | このメトリックは、スナップショットフェーズで処理されたデータレコードの数を測定します。 | |
numRecordsInPerTable | 各テーブルから読み取られたデータレコードの数。 | 件数 | このメトリックは、各テーブルで処理されたデータレコードの総数を測定します。 | |
numSnapshotRecordsPerTable | スナップショットフェーズで各テーブルで処理されたデータレコードの数。 | 件数 | このメトリックは、スナップショットフェーズで各テーブルで処理されたデータレコードの数を測定します。 |
Kafkaコネクタ
メトリック | 定義 | 単位 | シナリオ | サポートされているバージョン |
commitsSucceeded | オフセットがコミットされた回数。 | 回数 | このメトリックは、オフセットがコミットされているかどうかを判断するために使用されます。 | VVR 8.0.9以降を使用するApache Flink向けRealtime Computeのみがこのパラメータをサポートしています。 |
commitsFailed | オフセットのコミットに失敗した回数。 | 回数 | このメトリックは、オフセットがコミットされているかどうかを判断するために使用されます。 | |
フェッチレート | データがプルされる頻度。 | 回数/秒 | このメトリックは、データのプル時に発生するレイテンシと、データがプルされるレートを判断するために使用されます。 | |
平均フェッチレイテンシ | データのプル時に発生するレイテンシ。 | ミリ秒 | このメトリックは、データのプル時に発生するレイテンシと、データがプルされるレートを判断するために使用されます。 | |
平均フェッチサイズ | 毎回プルされる平均バイト数。 | バイト | このメトリックは、データのプル時に発生するレイテンシと、データがプルされるレートを判断するために使用されます。 | |
リクエストごとの平均受信レコード数 | 毎回プルされる平均メッセージ数。 | 回数 | このメトリックは、データのプル時に発生するレイテンシと、データがプルされるレートを判断するために使用されます。 | |
currentSendTime | 最後のデータレコードが送信された時刻。 | 該当なし | このメトリックは、消費の進捗状況を判断するために使用されます。 | |
平均バッチサイズ | 各バッチで書き込まれる平均バイト数。 | バイト | このメトリックは、データの書き込み時に発生するレイテンシと、データが書き込まれるレートを判断するために使用されます。 | |
平均リクエストレイテンシ | リクエストの平均レイテンシ。 | ミリ秒 | このメトリックは、データの書き込み時に発生するレイテンシと、データが書き込まれるレートを判断するために使用されます。 | |
requestsInFlight | 処理中のリクエストの数。 | 該当なし | このメトリックは、データの書き込み時に発生するレイテンシと、データが書き込まれるレートを判断するために使用されます。 | |
リクエストごとの平均レコード数 | リクエストごとに処理される平均メッセージ数。 | 回数 | このメトリックは、データの書き込み時に発生するレイテンシと、データが書き込まれるレートを判断するために使用されます。 | |
平均レコードサイズ | メッセージの平均バイト数。 | バイト | このメトリックは、データの書き込み時に発生するレイテンシと、データが書き込まれるレートを判断するために使用されます。 |
Paimon コネクタ
メトリック | 定義 | 単位 | シナリオ | サポートされているバージョン |
ライターの数 | ライターの数。 | 件数 | このメトリックは、データが書き込まれているバケットの数を示します。 このメトリックの値が大きい場合、書き込みパフォーマンスに影響を与え、より多くのメモリが消費される可能性があります。 このメトリックは、バケットの数またはパーティションキーの設定が適切かどうかを判断するために使用されます。 | VVR 8.0.9 以降を使用する Apache Flink 用の Realtime Compute のみ、このパラメーターをサポートしています。 |
最大圧縮スレッドビジー | 小さなファイルをマージするためにスレッドが消費した最大時間の、バケットへのデータ書き込みに消費された合計時間に対する比率。 | パーセンテージ | このメトリックは、1 分間に小さなファイルをマージするためにスレッドが消費した最大時間を示します。 このメトリックは、小さなファイルをマージするためのスレッドがどれくらいビジー状態にあるかを示します。 | |
平均圧縮スレッドビジー | 小さなファイルをマージするためにスレッドが消費した合計時間の、バケットへのデータ書き込みに消費された合計時間に対する比率。 | パーセンテージ | このメトリックは、1 分間に小さなファイルをマージするためにスレッドが消費した平均時間を示します。 このメトリックは、小さなファイルをマージするためのスレッドがどれくらいビジー状態にあるかを示します。 | |
レベル 0 ファイルの最大数 | レベル 0 ファイルの最大数。 | 件数 | データが書き込まれているバケット内のレベル 0 ファイルの最大数。 このメトリックはプライマリキーテーブルに対してのみ機能し、小さなファイルをマージする効率が書き込み効率に追いつくことができるかどうかを判断するために使用されます。 | |
レベル 0 ファイルの平均数 | レベル 0 ファイルの平均数。 | 件数 | データが書き込まれているバケット内のレベル 0 ファイルの平均数。 このメトリックはプライマリキーテーブルに対してのみ機能し、小さなファイルをマージする効率が書き込み効率に追いつくことができるかどうかを判断するために使用されます。 | |
最後のコミット所要時間 | 最後のコミットで消費された時間。 | ミリ秒 | このメトリックの値が大きい場合は、同時に過剰なバケットにデータが書き込まれているかどうかを確認してください。 | |
最後にコミットされたパーティションの数 | 最後のコミットでデータが書き込まれたパーティションの数。 | 件数 | このメトリックの値が大きい場合、書き込みパフォーマンスに影響を与え、より多くのメモリが消費される可能性があります。 このメトリックは、バケットの数またはパーティションキーの設定が適切かどうかを判断するために使用されます。 | |
最後にコミットされたバケットの数 | 最後のコミットでデータが書き込まれたバケットの数。 | 件数 | このメトリックの値が大きい場合、書き込みパフォーマンスに影響を与え、より多くのメモリが消費される可能性があります。 このメトリックは、バケットの数またはパーティションキーの設定が適切かどうかを判断するために使用されます。 | |
使用済み書き込みバッファー | ライターノードによって使用されているバッファーサイズ。 | バイト | すべての TaskManager のライターノードによって使用されているバッファーサイズ。 このバッファーは Java ヒープメモリを占有します。 このメトリックの値が大きい場合、メモリ不足 (OOM) エラーが発生する可能性があります。 | |
合計書き込みバッファー | ライターノードに割り当てられている合計バッファーサイズ。 | バイト | すべての TaskManager のライターノードに割り当てられているバッファーサイズ。 このバッファーは Java ヒープメモリを占有します。 このメトリックの値が大きい場合、OOM エラーが発生する可能性があります。 |
データインジェスト
メトリック | 定義 | 単位 | シナリオ | サポートされているバージョン |
isSnapshotting | ジョブがスナップショットフェーズにあるかどうかを指定します。値 1 は、ジョブがスナップショットフェーズにあることを示します。 | 該当なし | このメトリックは、ジョブの処理フェーズを示します。 | VVR 8.0.9 以降を使用する Realtime Compute for Apache Flink のみ、このパラメーターをサポートしています。 |
isBinlogReading | ジョブが増分フェーズにあるかどうかを指定します。値 1 は、ジョブが増分フェーズにあることを示します。 | 該当なし | このメトリックは、ジョブの処理フェーズを示します。 | |
残りのテーブル数 | スナップショットフェーズで処理待ちのテーブルの数。 | 件数 | このメトリックは、未処理のテーブルの数を測定します。 | |
スナップショットされたテーブル数 | スナップショットフェーズで処理されたテーブルの数。 | 件数 | このメトリックは、処理されたテーブルの数を測定します。 | |
残りの SnapshotSplits の数 | スナップショットフェーズで処理待ちのシャードの数。 | 件数 | このメトリックは、未処理のシャードの数を測定します。 | |
処理された SnapshotSplits の数 | スナップショットフェーズで処理されたシャードの数。 | 件数 | このメトリックは、処理されたシャードの数を測定します。 | |
currentFetchEventTimeLag | データが生成された時刻とデータベースからデータが読み取られた時刻の差。 | ミリ秒 | このメトリックは、データベースからのバイナリログの読み取りレイテンシを示します。 | |
currentReadTimestampMs | 読み取られた最新のデータレコードのタイムスタンプ。 | ミリ秒 | このメトリックは、読み取られた最新のデータレコードのタイムスタンプを示します。 | |
numRecordsIn | 読み取られたデータレコードの数。 | 件数 | このメトリックは、処理されたデータレコードの総数を測定します。 | |
numRecordsInPerTable | 各テーブルから読み取られたデータレコードの数。 | 件数 | このメトリックは、各テーブルで処理されたデータレコードの総数を測定します。 | |
numSnapshotRecords | スナップショットフェーズで処理されたデータレコードの数。 | 件数 | このメトリックは、スナップショットフェーズで処理されたデータレコードの数を測定します。 | |
numSnapshotRecordsPerTable | スナップショットフェーズで各テーブルで処理されたデータレコードの数。 | 件数 | このメトリックは、スナップショットフェーズで各テーブルで処理されたデータレコードの数を測定します。 |