すべてのプロダクト
Search
ドキュメントセンター

Realtime Compute for Apache Flink:メトリクス

最終更新日:Jan 08, 2025

このトピックでは、フルマネージド Flink でサポートされているメトリクスについて説明します。

使用上の注意

  • ソースによって報告されるメトリクスは、ソースの現在の状況のみを反映しており、問題の根本原因を特定するために使用することはできません。問題の根本原因を特定するには、補助的なメトリクスまたはツールを使用する必要があります。次の表では、特定のシナリオにおけるメトリクスについて説明します。

    シナリオ

    説明

    デプロイメントのオペレーターにバックプレッシャーがかかっています。

    バックプレッシャーを検出する最も直接的な方法は、メトリクスではなく、Flink UI が提供するバックプレッシャー検出機能です。バックプレッシャーが存在する場合、ソースがダウンストリームオペレーターにデータを送信する速度が低下します。この場合、sourceIdleTime メトリクスの値が定期的に増加し、currentFetchEventTimeLag メトリクスと currentEmitEventTimeLag メトリクスの値が継続的に増加する可能性があります。極端な場合、たとえばオペレーターがスタックしている場合、sourceIdleTime メトリクスの値は継続的に増加します。

    ソースにパフォーマンスボトルネックがあります。

    ソースのスループットだけが不十分な場合、デプロイメントでバックプレッシャーを検出することはできません。ソースは実行し続けるため、sourceIdleTime メトリクスは小さな値のままです。 currentFetchEventTimeLag メトリクスと currentEmitEventTimeLag メトリクスの値は大きく、互いに近くなります。

    アップストリームでデータの偏りが発生するか、パーティションが空です。

    データの偏りが発生した場合、またはパーティションが空の場合、1 つ以上のソースがアイドル状態になります。この場合、ソースの sourceIdleTime メトリクスの値は大きくなります。

  • デプロイメントのレイテンシが高い場合は、次の表に示すメトリクスを使用して、フルマネージド Flink のデータ処理能力と外部システムでのデータの保持を分析できます。

    メトリクス

    説明

    sourceIdleTime

    ソースがアイドル状態かどうかを示します。このメトリクスの値が大きい場合、データは外部システムで低速で生成されています。

    currentFetchEventTimeLag と currentEmitEventTimeLag

    フルマネージド Flink がデータを処理する際のレイテンシを示します。2 つのメトリクスの値の差に基づいて、ソースのデータ処理能力を分析できます。この差は、データがソースに保持される期間を示します。

    • 2 つのメトリクスの値の差が小さい場合、ネットワーク I/O または並列処理に関連する問題が原因で、ソースは外部システムからデータを効率的にプルしていません。

    • 2 つのメトリクスの値の差が大きい場合、データの解析、並列処理、またはバックプレッシャーに関連する問題が原因で、ソースはデータを効率的に処理していません。

    pendingRecords

    外部システムに保持されているデータの量を示します。

概要

メトリクス

定義

説明

単位

サポートされているコネクタ

再起動回数

デプロイメントのフェイルオーバーが発生したときにデプロイメントが再起動された回数。

このメトリクスは、デプロイメントのフェイルオーバーが発生したときにデプロイメントが再起動された回数を示します。 JobManager のフェイルオーバーが発生したときにデプロイメントが再起動された回数は除外されます。このメトリクスは、デプロイメントの可用性と状態を確認するために使用されます。

回数

該当なし

current Emit Event Time Lag

処理レイテンシ。

このメトリクスの値が大きい場合、システムがデータをプルまたは処理するときに、デプロイメントでデータレイテンシが発生する可能性があります。

ミリ秒

  • Kafka

  • ApsaraMQ for RocketMQ

  • Simple Log Service

  • DataHub

  • Postgres Change Data Capture (CDC)

  • Hologres (Hologres binlog ソーステーブル)

current Fetch Event Time Lag

送信レイテンシ。

このメトリクスの値が大きい場合、システムがデータをプルするときに、デプロイメントでデータレイテンシが発生する可能性があります。この場合、ネットワーク I/O またはソースに関する情報を確認する必要があります。このメトリクスと currentEmitEventTimeLag メトリクスの値の差に基づいて、ソースのデータ処理能力を分析できます。2 つのメトリクスの値の差は、データがソースに保持される期間を示します。処理メカニズムは、miniBatch が有効になっているかどうかによって異なります。

  • 2 つのメトリクスの値の差が小さい場合、ネットワーク I/O または並列処理に関連する問題が原因で、ソースは外部システムからデータを効率的にプルしていません。

  • 2 つのメトリクスの値の差が大きい場合、デプロイメントの処理能力が不十分です。これにより、ソースにデータが保持されます。この問題を解決するには、次の手順を実行します。[デプロイメント] ページで、管理するデプロイメントを見つけて、その名前をクリックします。デプロイメントの詳細パネルで、[ステータス] タブをクリックします。[ステータス] タブで、[名前] 列の値をクリックします。表示されるページで、[バックプレッシャー] タブをクリックして、問題の原因となっている Vertex トポロジを見つけます。次に、[バックプレッシャー] タブで、[スレッドダンプ] 列の [ダンプ] をクリックして、[スレッドダンプ] タブに移動し、パフォーマンスボトルネックが発生しているスタックを分析します。

ミリ秒

  • Kafka

  • ApsaraMQ for RocketMQ

  • Simple Log Service

  • DataHub

  • Postgres CDC

  • Hologres (Hologres binlog ソーステーブル)

numRecordsIn

すべてのオペレーターの入力データレコードの総数。

このメトリクスの値がオペレーターで長時間増加しない場合、ソースからデータが失われている可能性があります。この場合、ソースのデータを確認する必要があります。

回数

すべての組み込みコネクタ

numRecordsOut

出力データレコードの総数。

このメトリクスの値がオペレーターで長時間増加しない場合、デプロイメントのコードロジックでエラーが発生し、データが失われている可能性があります。この場合、デプロイメントのコードロジックを確認する必要があります。

回数

すべての組み込みコネクタ

numRecordsInofSource

各オペレーターのソースオペレーターに流れ込むデータレコードの総数。

このメトリクスは、ソースに流れ込むデータレコードの数をチェックするために使用されます。

回数

  • Kafka

  • MaxCompute

  • Incremental MaxCompute

  • ApsaraMQ for RocketMQ

  • Simple Log Service

  • DataHub

  • ElasticSearch

  • Hologres

numRecordsOutOfSink

シンクの出力データレコードの総数。

このメトリクスは、ソースによってエクスポートされるデータレコードの数をチェックするために使用されます。

回数

  • Kafka

  • Simple Log Service

  • DataHub

  • Hologres

  • ApsaraDB for HBase

  • Tablestore

  • ApsaraDB for Redis

numRecordsInPerSecond

すべてのデータストリームの1秒あたりの入力データレコード数。

このメトリクスは、データストリーム全体の処理速度を監視するために使用されます。たとえば、numRecordsInPerSecond メトリクスの値を使用して、データストリーム全体の処理速度が予期される要件を満たしているかどうか、およびさまざまな入力データ負荷の下でデプロイメントのパフォーマンスがどのように変化するかを確認できます。

データレコード/秒

すべての組み込みコネクタ

numRecordsOutPerSecond

すべてのデータストリームの1秒あたりの出力データレコード数。

このメトリクスは、すべてのデータストリームの1秒あたりの出力データレコード数を監視するために使用されます。このメトリクスは、データストリーム全体の出力速度を監視するためにも使用されます。

たとえば、numRecordsOutPerSecond メトリクスの値を使用して、データストリーム全体の出力速度が予期される要件を満たしているかどうか、およびさまざまな出力データ負荷の下でデプロイメントのパフォーマンスがどのように変化するかを確認できます。

データレコード/秒

すべてのコネクタ

numRecordsInOfSourcePerSecond (IN RPS)

ソースの1秒あたりの入力データレコード数。

このメトリクスは、ソースの1秒あたりの入力データレコード数を監視し、ソースでデータレコードが生成される速度を監視するために使用されます。たとえば、生成できるデータレコードの数は、データソースのタイプによって異なります。 numRecordsInOfSourcePerSecond メトリクスの値を使用して、ソースでデータレコードが生成される速度を確認し、データストリームを調整してパフォーマンスを向上させることができます。このメトリクスは、監視とアラートにも使用されます。

このメトリクスの値が 0 の場合、ソースからデータが失われている可能性があります。この場合、ソースのデータが消費されないためにデータ出力がブロックされているかどうかを確認する必要があります。

データレコード/秒

  • Kafka

  • MaxCompute

  • Incremental MaxCompute

  • ApsaraMQ for RocketMQ

  • Simple Log Service

  • DataHub

  • ElasticSearch

  • Hologres

numRecordsOutOfSinkPerSecond (OUT RPS)

シンクの1秒あたりの出力データレコード数。

このメトリクスは、シンクの1秒あたりの出力データレコード数を監視し、シンクからデータレコードがエクスポートされる速度を監視するために使用されます。たとえば、エクスポートできるデータレコードの数は、シンクのタイプによって異なります。

numRecordsOutOfSinkPerSecond メトリクスの値を使用して、シンクからデータレコードがエクスポートされる速度を確認し、データストリームを調整してパフォーマンスを向上させることができます。このメトリクスは、監視とアラートにも使用されます。このメトリクスの値が 0 の場合、デプロイメントのコードロジックの欠陥によりすべてのデータがフィルタリングされます。この場合、デプロイメントのコードロジックを確認する必要があります。

データレコード/秒

  • Kafka

  • MaxCompute

  • Incremental MaxCompute

  • Simple Log Service

  • DataHub

  • Hologres

  • ApsaraDB for HBase

  • Tablestore

  • ApsaraDB for Redis

pendingRecords

ソースによって読み取られていないデータレコードの数。

このメトリクスは、ソースが外部システムからプルしていないデータレコードの数をチェックするために使用されます。

回数

  • Kafka

  • ElasticSearch

sourceIdleTime

ソースでデータが処理されない時間。

このメトリクスは、ソースがアイドル状態かどうかを指定します。このメトリクスの値が大きい場合、データは外部システムで低速で生成されています。

ミリ秒

  • Kafka

  • ApsaraMQ for RocketMQ

  • Postgres CDC

  • Hologres (Hologres binlog ソーステーブル)

チェックポイント

メトリクス

定義

説明

単位

チェックポイントの数

チェックポイントの数。

このメトリクスは、チェックポイントの概要を取得し、チェックポイントのアラートを設定するために使用されます。

回数

lastCheckpointDuration

最後のチェックポイントが使用された時間。

チェックポイントが長時間使用されている場合、またはタイムアウトした場合、考えられる原因は、状態データによって占有されているストレージ容量が過度に大きいこと、一時的なネットワークエラーが発生していること、バリアが調整されていないこと、またはデータのバックプレッシャーが存在することです。

ミリ秒

lastCheckpointSize

最後のチェックポイントのサイズ。

このメトリクスは、アップロードされた最後のチェックポイントのサイズを表示するために使用されます。このメトリクスの値に基づいて、チェックポイントのボトルネック問題が発生した場合にチェックポイントのパフォーマンスを分析できます。

バイト

状態

説明

状態アクセスレイテンシに関連するメトリクスを使用するには、メトリクスを指定する必要があります。フルマネージド Flink のコンソールの [ドラフトエディター] ページの [詳細設定] タブの [追加設定] セクションで、state.backend.latency-track.keyed-state-enabled パラメーターを true に設定して、メトリクスを有効にする必要があります。状態アクセスレイテンシに関連するメトリクスを有効にすると、デプロイメントの実行中にデプロイメントのパフォーマンスに影響を与える可能性があります。

メトリック

定義

説明

単位

サポートされているバージョン

State Clear Latency

状態データのクリーンアップにおける最大レイテンシ。

状態データのクリーンアップのパフォーマンスを確認できます。

ナノ秒

Ververica Runtime(VVR) 4.0.0 以降を使用する Realtime Compute for Apache Flink のみで、これらのメトリックがサポートされています。

Value State Latency

単一の ValueState アクセスにおける最大レイテンシ。

ValueState アクセスパフォーマンスを確認できます。

ナノ秒

Aggregating State Latency

単一の AggregatingState アクセスにおける最大レイテンシ。

AggregatingState アクセスパフォーマンスを確認できます。

ナノ秒

Reducing State Latency

単一の ReducingState アクセスにおける最大レイテンシ。

ReducingState アクセスパフォーマンスを確認できます。

ナノ秒

Map State Latency

単一の MapState アクセスにおける最大レイテンシ。

MapState アクセスパフォーマンスを確認できます。

ナノ秒

List State Latency

単一の ListState アクセスにおける最大レイテンシ。

ListState アクセスパフォーマンスを確認できます。

ナノ秒

Sorted Map State Latency

単一の SortedMapState アクセスにおける最大レイテンシ。

SortedMapState アクセスパフォーマンスを確認できます。

ナノ秒

State Size

状態データのサイズ。

このメトリックは、次の操作を実行するのに役立ちます:

  • 状態データのボトルネックが発生する可能性のあるノードを直接特定するか、事前に特定します。

  • 状態データの有効期限(TTL)が有効になっているかどうかを確認します。

バイト

VVR 4.0.12 以降を使用する Realtime Compute for Apache Flink のみで、このメトリックがサポートされています。

State File Size

状態データファイルのサイズ。

このメトリックは、次の操作を実行するのに役立ちます:

  • ローカルディスク内の状態データファイルのサイズを確認します。 サイズが大きい場合は、事前にアクションを実行できます。

  • ローカルディスク容量が不足している場合、状態データが過度に大きいかどうかを判断します。

バイト

VVR 4.0.13 以降を使用する Realtime Compute for Apache Flink のみで、このメトリックがサポートされています。

I/O

メトリック

定義

説明

単位

対応コネクタ

numBytesIn

入力バイトの総数。

このメトリックは、ソースの入力データレコードのサイズを確認するために使用されます。デプロイのスループットを観察するのに役立ちます。

バイト

  • Kafka

  • MaxCompute

  • Incremental MaxCompute

  • ApsaraMQ for RocketMQ

numBytesInPerSecond

1 秒あたりの入力バイトの総数。

このメトリックは、ソースへのデータフローの速度を確認するために使用されます。デプロイのスループットを観察するのに役立ちます。

バイト/秒

  • Kafka

  • MaxCompute

  • Incremental MaxCompute

  • ApsaraMQ for RocketMQ

numBytesOut

出力バイトの総数。

このメトリックは、ソースの出力データレコードのサイズを確認するために使用されます。デプロイのスループットを観察するのに役立ちます。

バイト

  • Kafka

  • ApsaraMQ for RocketMQ

  • DataHub

  • ApsaraDB for HBase

numBytesOutPerSecond

1 秒あたりの出力バイトの総数。

このメトリックは、ソースによってエクスポートされるデータの速度を確認するために使用されます。デプロイのスループットを観察するのに役立ちます。

バイト/秒

  • Kafka

  • ApsaraMQ for RocketMQ

  • DataHub

  • ApsaraDB for HBase

タスク numRecords I/O

各サブタスクに流れ込むデータレコードと、各サブタスクによってエクスポートされるデータレコードの総数。

このメトリックは、デプロイに I/O ボトルネックが存在するかどうかを確認するために使用されます。

件数

  • Kafka

  • MaxCompute

  • Incremental MaxCompute

  • Simple Log Service

  • DataHub

  • ElasticSearch

  • Hologres

  • ApsaraDB for HBase

  • Tablestore

  • ApsaraDB for Redis

タスク numRecords I/O PerSecond

1 秒あたりに各サブタスクに流れ込むデータレコードと、各サブタスクによってエクスポートされるデータレコードの総数。

このメトリックは、デプロイに I/O ボトルネックが存在するかどうかを確認し、各サブタスクの入出力レートに基づいて I/O ボトルネックの重大度を判断するために使用されます。

データレコード/秒

  • Kafka

  • MaxCompute

  • Incremental MaxCompute

  • Simple Log Service

  • DataHub

  • ElasticSearch

  • Hologres

  • ApsaraDB for HBase

  • Tablestore

  • ApsaraDB for Redis

currentSendTime

各サブタスクが最後のデータレコードをシンクにエクスポートするために必要な時間。

このメトリックの値が小さい場合、データレコードは各サブタスクによってシンクに非常に遅い速度でエクスポートされます。

ミリ秒

  • Kafka

  • MaxCompute

  • Incremental MaxCompute

  • ApsaraMQ for RocketMQ

  • Simple Log Service

  • DataHub

  • Hologres

    説明

    リモートプロシージャコール ( RPC) モードまたはJava Database Connectivity ( JDBC) ドライバーを使用してHologresにデータを書き込む場合、Hologresコネクタはこのメトリックをサポートしています。 BHClientモードでHologresにデータを書き込む場合、Hologresコネクタはこのメトリックをサポートしていません。

  • ApsaraDB for HBase

  • Tablestore

  • ApsaraDB for Redis

ウォーターマーク

メトリック

定義

説明

単位

対応コネクタ

タスク入力ウォーターマーク

各タスクが最新のウォーターマークを受信する時刻。

このメトリックは、TaskManagerによるデータ受信のレイテンシを確認するために使用されます。

N/A

N/A

ウォーターマークラグ

ウォーターマークのレイテンシ。

このメトリックは、サブタスクのレイテンシを判断するために使用されます。

ミリ秒

  • Kafka

  • ApsaraMQ for RocketMQ

  • Simple Log Service

  • DataHub

  • Hologres (Hologres binlog ソーステーブル)

CPU

メトリック

定義

説明

単位

JM CPU使用率

JobManager の CPU使用率。

このメトリックは、フルマネージド Flink によって占有されている CPU タイムスライスの使用率を示します。このパラメーターの値が 100% の場合、1 つの CPU コアが使用されています。このパラメーターの値が 400% の場合、4 つの CPU コアが使用されています。このメトリックの値が長期間にわたって 100% を超えている場合、JobManager の CPU はビジー状態です。CPU 負荷が高いにもかかわらず CPU 使用率が低い場合は、頻繁な読み取りおよび書き込み操作が原因で、割り込み不可能なスリープ状態のプロセスが多数実行されている可能性があります。

説明

VVR 6.0.6 以降を使用する Realtime Compute for Apache Flink のみ、このメトリックをサポートしています。

N/A

TM CPU使用率

TaskManager の CPU使用率。

このメトリックは、フルマネージド Flink によって占有されている CPU タイムスライスの使用率を示します。このパラメーターの値が 100% の場合、1 つの CPU コアが使用されています。このパラメーターの値が 400% の場合、4 つの CPU コアが使用されています。このメトリックの値が長期間にわたって 100% を超えている場合、TaskManager の CPU はビジー状態です。CPU 負荷が高いにもかかわらず CPU 使用率が低い場合は、頻繁な読み取りおよび書き込み操作が原因で、割り込み不可能なスリープ状態のプロセスが多数実行されている可能性があります。

N/A

メモリ

メトリック

定義

説明

単位

JM ヒープメモリ

JobManager のヒープメモリ。

このメトリックは、JobManager のヒープメモリの変化を確認するために使用されます。

バイト

JM 非ヒープメモリ

JobManager の非ヒープメモリ。

このメトリックは、JobManager の非ヒープメモリの変化を確認するために使用されます。

バイト

TM ヒープメモリ

TaskManager のヒープメモリ。

このメトリックは、TaskManager のヒープメモリの変化を確認するために使用されます。

バイト

TM 非ヒープメモリ

TaskManager の非ヒープメモリ。

このメトリックは、TaskManager の非ヒープメモリの変化を確認するために使用されます。

バイト

TM メモリ (RSS)

Linux を使用したプロセス全体のメモリ。

このメトリックは、プロセスのメモリの変化を確認するために使用されます。

バイト

JVM

メトリック

定義

説明

単位

JM スレッド

JobManager のスレッド数。

JobManager のスレッド数が多すぎると、過剰なメモリ領域が占有されます。これはデプロイの安定性を低下させます。

TM スレッド

TaskManager のスレッド数。

TaskManager のスレッド数が多すぎると、過剰なメモリ領域が占有されます。これはデプロイの安定性を低下させます。

JM GC 回数

JobManager のガベージコレクション ( GC ) が発生した回数。

JobManager の GC が何度も発生すると、過剰なメモリ領域が占有されます。これはデプロイのパフォーマンスに影響します。このメトリックは、デプロイの診断とデプロイの障害処理に使用されます。

JM GC 時間

JobManager の各 GC の期間。

各 GC の時間が長いと、過剰なメモリ領域が占有されます。これはデプロイのパフォーマンスに影響します。このメトリックは、デプロイの診断とデプロイの障害処理に使用されます。

ミリ秒

TM GC 回数

TaskManager の GC が発生した回数。

TaskManager の GC が何度も発生すると、過剰なメモリ領域が占有されます。これはデプロイのパフォーマンスに影響します。このメトリックは、デプロイの診断とデプロイの障害処理に使用されます。

TM GC 時間

TaskManager の各 GC の持続時間。

各 GC の時間が長いと、過剰なメモリ領域が占有されます。これはデプロイのパフォーマンスに影響します。このメトリックは、デプロイの診断とデプロイの障害処理に使用されます。

ミリ秒

JM ClassLoader

JobManager が存在する Java 仮想マシン ( JVM ) が作成された後にロードまたはアンロードされたクラスの総数。

JobManager が存在する JVM が作成された後、ロードまたはアンロードされたクラスの総数が過度に大きい場合、過剰なメモリ領域が占有されます。これはデプロイのパフォーマンスに影響します。

N/A

TM ClassLoader

TaskManager が存在する JVM が作成された後にロードまたはアンロードされたクラスの総数。

TaskManager が存在する JVM が作成された後、ロードまたはアンロードされたクラスの総数が過度に大きい場合、過剰なメモリ領域が占有されます。これはデプロイのパフォーマンスに影響します。

N/A

MySQLコネクタ

メトリック

定義

単位

シナリオ

サポートされているバージョン

isSnapshotting

ジョブがスナップショットフェーズにあるかどうかを指定します。値 1 は、ジョブがスナップショットフェーズにあることを示します。

N/A

このメトリックは、ジョブの処理フェーズを示します。

VVR 8.0.9 以後を使用する Apache Flink 用の Realtime Compute のみ、このパラメーターをサポートします。

isBinlogReading

ジョブが増分フェーズにあるかどうかを指定します。値 1 は、ジョブが増分フェーズにあることを示します。

N/A

このメトリックは、ジョブの処理フェーズを示します。

残りのテーブル数

スナップショットフェーズで処理待ちのテーブルの数。

件数

このメトリックは、未処理のテーブルの数を測定します。

スナップショットされたテーブル数

スナップショットフェーズで処理されたテーブルの数。

件数

このメトリックは、処理されたテーブルの数を測定します。

残りのSnapshotSplits数

スナップショットフェーズで処理待ちのシャードの数。

件数

このメトリックは、未処理のシャードの数を測定します。

処理されたSnapshotSplits数

スナップショットフェーズで処理されたシャードの数。

件数

このメトリックは、処理されたシャードの数を測定します。

currentFetchEventTimeLag

データが生成された時刻とデータベースからデータが読み取られた時刻の差。

ミリ秒

このメトリックは、データベースからのバイナリログの読み取りレイテンシを示します。

currentReadTimestampMs

読み取られた最新のデータレコードのタイムスタンプ。

ミリ秒

このメトリックは、読み取られた最新のデータレコードのタイムスタンプを示します。

numRecordsIn

読み取られたデータレコードの数。

件数

このメトリックは、処理されたデータレコードの総数を測定します。

numSnapshotRecords

スナップショットフェーズで処理されたデータレコードの数。

件数

このメトリックは、スナップショットフェーズで処理されたデータレコードの数を測定します。

numRecordsInPerTable

各テーブルから読み取られたデータレコードの数。

件数

このメトリックは、各テーブルで処理されたデータレコードの総数を測定します。

numSnapshotRecordsPerTable

スナップショットフェーズで各テーブルで処理されたデータレコードの数。

件数

このメトリックは、スナップショットフェーズで各テーブルで処理されたデータレコードの数を測定します。

Kafkaコネクタ

メトリック

定義

単位

シナリオ

サポートされているバージョン

commitsSucceeded

オフセットがコミットされた回数。

回数

このメトリックは、オフセットがコミットされているかどうかを判断するために使用されます。

VVR 8.0.9以降を使用するApache Flink向けRealtime Computeのみがこのパラメータをサポートしています。

commitsFailed

オフセットのコミットに失敗した回数。

回数

このメトリックは、オフセットがコミットされているかどうかを判断するために使用されます。

フェッチレート

データがプルされる頻度。

回数/秒

このメトリックは、データのプル時に発生するレイテンシと、データがプルされるレートを判断するために使用されます。

平均フェッチレイテンシ

データのプル時に発生するレイテンシ。

ミリ秒

このメトリックは、データのプル時に発生するレイテンシと、データがプルされるレートを判断するために使用されます。

平均フェッチサイズ

毎回プルされる平均バイト数。

バイト

このメトリックは、データのプル時に発生するレイテンシと、データがプルされるレートを判断するために使用されます。

リクエストごとの平均受信レコード数

毎回プルされる平均メッセージ数。

回数

このメトリックは、データのプル時に発生するレイテンシと、データがプルされるレートを判断するために使用されます。

currentSendTime

最後のデータレコードが送信された時刻。

該当なし

このメトリックは、消費の進捗状況を判断するために使用されます。

平均バッチサイズ

各バッチで書き込まれる平均バイト数。

バイト

このメトリックは、データの書き込み時に発生するレイテンシと、データが書き込まれるレートを判断するために使用されます。

平均リクエストレイテンシ

リクエストの平均レイテンシ。

ミリ秒

このメトリックは、データの書き込み時に発生するレイテンシと、データが書き込まれるレートを判断するために使用されます。

requestsInFlight

処理中のリクエストの数。

該当なし

このメトリックは、データの書き込み時に発生するレイテンシと、データが書き込まれるレートを判断するために使用されます。

リクエストごとの平均レコード数

リクエストごとに処理される平均メッセージ数。

回数

このメトリックは、データの書き込み時に発生するレイテンシと、データが書き込まれるレートを判断するために使用されます。

平均レコードサイズ

メッセージの平均バイト数。

バイト

このメトリックは、データの書き込み時に発生するレイテンシと、データが書き込まれるレートを判断するために使用されます。

Paimon コネクタ

メトリック

定義

単位

シナリオ

サポートされているバージョン

ライターの数

ライターの数。

件数

このメトリックは、データが書き込まれているバケットの数を示します。 このメトリックの値が大きい場合、書き込みパフォーマンスに影響を与え、より多くのメモリが消費される可能性があります。 このメトリックは、バケットの数またはパーティションキーの設定が適切かどうかを判断するために使用されます。

VVR 8.0.9 以降を使用する Apache Flink 用の Realtime Compute のみ、このパラメーターをサポートしています。

最大圧縮スレッドビジー

小さなファイルをマージするためにスレッドが消費した最大時間の、バケットへのデータ書き込みに消費された合計時間に対する比率。

パーセンテージ

このメトリックは、1 分間に小さなファイルをマージするためにスレッドが消費した最大時間を示します。 このメトリックは、小さなファイルをマージするためのスレッドがどれくらいビジー状態にあるかを示します。

平均圧縮スレッドビジー

小さなファイルをマージするためにスレッドが消費した合計時間の、バケットへのデータ書き込みに消費された合計時間に対する比率。

パーセンテージ

このメトリックは、1 分間に小さなファイルをマージするためにスレッドが消費した平均時間を示します。 このメトリックは、小さなファイルをマージするためのスレッドがどれくらいビジー状態にあるかを示します。

レベル 0 ファイルの最大数

レベル 0 ファイルの最大数。

件数

データが書き込まれているバケット内のレベル 0 ファイルの最大数。 このメトリックはプライマリキーテーブルに対してのみ機能し、小さなファイルをマージする効率が書き込み効率に追いつくことができるかどうかを判断するために使用されます。

レベル 0 ファイルの平均数

レベル 0 ファイルの平均数。

件数

データが書き込まれているバケット内のレベル 0 ファイルの平均数。 このメトリックはプライマリキーテーブルに対してのみ機能し、小さなファイルをマージする効率が書き込み効率に追いつくことができるかどうかを判断するために使用されます。

最後のコミット所要時間

最後のコミットで消費された時間。

ミリ秒

このメトリックの値が大きい場合は、同時に過剰なバケットにデータが書き込まれているかどうかを確認してください。

最後にコミットされたパーティションの数

最後のコミットでデータが書き込まれたパーティションの数。

件数

このメトリックの値が大きい場合、書き込みパフォーマンスに影響を与え、より多くのメモリが消費される可能性があります。 このメトリックは、バケットの数またはパーティションキーの設定が適切かどうかを判断するために使用されます。

最後にコミットされたバケットの数

最後のコミットでデータが書き込まれたバケットの数。

件数

このメトリックの値が大きい場合、書き込みパフォーマンスに影響を与え、より多くのメモリが消費される可能性があります。 このメトリックは、バケットの数またはパーティションキーの設定が適切かどうかを判断するために使用されます。

使用済み書き込みバッファー

ライターノードによって使用されているバッファーサイズ。

バイト

すべての TaskManager のライターノードによって使用されているバッファーサイズ。 このバッファーは Java ヒープメモリを占有します。 このメトリックの値が大きい場合、メモリ不足 (OOM) エラーが発生する可能性があります。

合計書き込みバッファー

ライターノードに割り当てられている合計バッファーサイズ。

バイト

すべての TaskManager のライターノードに割り当てられているバッファーサイズ。 このバッファーは Java ヒープメモリを占有します。 このメトリックの値が大きい場合、OOM エラーが発生する可能性があります。

データインジェスト

メトリック

定義

単位

シナリオ

サポートされているバージョン

isSnapshotting

ジョブがスナップショットフェーズにあるかどうかを指定します。値 1 は、ジョブがスナップショットフェーズにあることを示します。

該当なし

このメトリックは、ジョブの処理フェーズを示します。

VVR 8.0.9 以降を使用する Realtime Compute for Apache Flink のみ、このパラメーターをサポートしています。

isBinlogReading

ジョブが増分フェーズにあるかどうかを指定します。値 1 は、ジョブが増分フェーズにあることを示します。

該当なし

このメトリックは、ジョブの処理フェーズを示します。

残りのテーブル数

スナップショットフェーズで処理待ちのテーブルの数。

件数

このメトリックは、未処理のテーブルの数を測定します。

スナップショットされたテーブル数

スナップショットフェーズで処理されたテーブルの数。

件数

このメトリックは、処理されたテーブルの数を測定します。

残りの SnapshotSplits の数

スナップショットフェーズで処理待ちのシャードの数。

件数

このメトリックは、未処理のシャードの数を測定します。

処理された SnapshotSplits の数

スナップショットフェーズで処理されたシャードの数。

件数

このメトリックは、処理されたシャードの数を測定します。

currentFetchEventTimeLag

データが生成された時刻とデータベースからデータが読み取られた時刻の差。

ミリ秒

このメトリックは、データベースからのバイナリログの読み取りレイテンシを示します。

currentReadTimestampMs

読み取られた最新のデータレコードのタイムスタンプ。

ミリ秒

このメトリックは、読み取られた最新のデータレコードのタイムスタンプを示します。

numRecordsIn

読み取られたデータレコードの数。

件数

このメトリックは、処理されたデータレコードの総数を測定します。

numRecordsInPerTable

各テーブルから読み取られたデータレコードの数。

件数

このメトリックは、各テーブルで処理されたデータレコードの総数を測定します。

numSnapshotRecords

スナップショットフェーズで処理されたデータレコードの数。

件数

このメトリックは、スナップショットフェーズで処理されたデータレコードの数を測定します。

numSnapshotRecordsPerTable

スナップショットフェーズで各テーブルで処理されたデータレコードの数。

件数

このメトリックは、スナップショットフェーズで各テーブルで処理されたデータレコードの数を測定します。