AnalyticDB:データインポートパフォーマンスの最適化

外部テーブルを使用してデータをインポートするときのパフォーマンスの最適化

SUBMIT JOB /*+ direct_batch_load=true*/INSERT OVERWRITE adb_table
SELECT * FROM adb_external_table;

/*+ elastic_load=true, elastic_load_configs=[adb.load.resource.group.name=resource_group]*/
submit job insert overwrite adb_table select * from adb_external_table;

DataWorksを使用してデータをインポートするときのパフォーマンスの最適化

ジョブ設定の最適化

• 書き込みごとのデータレコードの値を最適化する

  このパラメーターは、バッチごとにインポートされるデータレコードの数を指定します。 デフォルト値は2048です。 ほとんどの場合、デフォルト値を使用することを推奨します。

  ただし、1つのデータレコードのサイズが数百KBに達する場合は、このパラメーターの値を変更することをお勧めします。 たとえば、1つのデータレコードのサイズが512 KBの場合、パラメーターを16に設定できます。 これにより、バッチごとにインポートされるデータの量が8 MBを超えないようにし、フロントエンドノードの高メモリ使用を防ぎます。

• チャネル制御の設定を最適化する

  • データインポートジョブのデータ同期パフォーマンスは、Expected Maximum Concurrencyの値に比例します。 このパラメーターの値を増やすことを推奨します。

    重要

    Expected Maximum Concurrencyの値が大きいほど、占有されるDataWorksリソースが多くなります。 このパラメーターを適切な値に増やします。

  • 同期パフォーマンスを向上させるために、分散実行をオンにすることを推奨します。

一般的な問題と解決策

• クライアントから少量のデータがインポートされると、データはデータベースサーバーによってタイムリーに処理されますが、CPUおよびディスクI/Oリソースは十分に活用されていません。 その結果、1秒あたりの書き込み応答時間と書き込みトランザクション (TPS) が期待に合わない場合があります。

  解決方法: [書き込みごとのデータレコード] および [期待される最大同時実行] の値を増やして、インポートされるデータの量を増やします。 データインポートパフォーマンスは、インポートされるデータの量が増加するにつれて直線的に増加します。

• インポートされたテーブルにデータスキューの問題がある場合、特定のクラスターノードが過負荷になり、インポートパフォーマンスが低下します。 この場合、CPUおよびディスクI/Oリソースが十分に利用されず、書き込み応答時間が長くなる。 [診断と最適化] ページの [データモデリング診断] タブに、インポートしたテーブルのデータスキュー診断結果が表示されます。 > データモデリング診断

  解決策: テーブルスキーマを再設計し、データを再度インポートします。 詳細については、「スキーマデザイン」をご参照ください。

プログラムとJDBCを使用してデータをインポートするときのパフォーマンスの最適化

クライアントを最適化する

• クライアントからのバッチデータのインポート

  • プログラムとJava Database Connectivity (JDBC) を使用してデータをインポートする場合、ネットワークと接続のオーバーヘッドを減らすためにデータを一括インポートすることをお勧めします。 特別な要件が適用されない限り、単一のデータレコードをインポートしないでください。

  • バッチごとに2,048のデータレコードをインポートすることを推奨します。 1つのデータレコードのサイズが数百KBに達する場合、1バッチあたり8 MB以下のデータをインポートすることを推奨します。 8 MBを1つのデータレコードのサイズで割ることで、バッチあたりの最適なデータレコード数を計算できます。 バッチごとに大量のデータをインポートすると、フロントエンドノードのメモリ使用量が多くなり、インポートのパフォーマンスが低下する可能性があります。

• クライアントの同時実行設定

  • クライアントからデータをインポートする場合、単一のプロセスではシステムリソースを十分に活用できず、クライアントでのバッチ操作によってインポート速度が低下するため、同時にデータをインポートすることをお勧めします。 同時実行ポリシーを使用して、データのインポートを高速化できます。

  • 同時実行機能は、クライアントが配置されているホストのバッチ、データソース、およびワークロードの数によって決まります。 テストによって適切な同時実行機能を見つけることを推奨します。 たとえば、インポートのパフォーマンスが要件を満たせない場合は、同時プロセスの数を2倍にすることができます。 インポート速度が低下した場合は、並行プロセスの数を徐々に減らすことができます。

一般的な問題と解決策