Simple Log Service:安定性と限界

項目

説明

Availability

高可用性が提供されます。

Simple Log Serviceのエラーにより、MaxComputeデータシッピングジョブがSimple Log Serviceからのデータの読み取りに失敗した場合、ジョブは少なくとも10回再試行されます。 それでもジョブが失敗すると、エラーが報告され、ジョブが再起動されます。

項目

説明

同時実行

データ配布インスタンスはシャードに基づいて作成でき、データ配布に使用されるリソースはスケールアウトできます。

データシッピングインスタンスのソースログストア内のシャードが分割されている場合、必要なリソースを数秒以内にスケールアウトして、データエクスポートプロセスを高速化できます。

データの整合性

必要なリソースは、データの一貫性を確保するためにコンシューマグループに基づいてスケールアウトされます。 詳細については、「コンシューマーグループ」をご参照ください。 オフセットは、データがMaxComputeに出荷された後にのみ送信されます。 これにより、すべてのデータがMaxComputeに確実に送信されます。

テーブルのスキーマの変更

データの配布中にテーブルのスキーマを変更した場合、変更は新しいパーティションにのみ適用されます。

項目

失敗したログのカウント

説明

パーティションエラー

課金されます

パーティションが無効であるか、指定されたパーティションキー列が存在しません。 関連ログはMaxComputeに書き込まれません。

無効な列

課金されません

Simple Log Serviceの列のデータ型がMaxComputeの対応する列のデータ型と一致しないか、データ型の変換が失敗します。 この場合、列のデータはMaxComputeに書き込まれません。 有効な列のデータのみがMaxComputeに書き込まれます。

データ列の長さの超過

課金されません

string型またはvarchar型の列のデータの長さが制限を超えています。 この場合、列のデータは切り捨てられ、MaxComputeに書き込まれます。 有効な列のデータがMaxComputeに書き込まれます。

項目

説明

モニタリングとアラート

データシッピングジョブのレイテンシやトラフィックなどのメトリックに基づいて、データシッピングジョブをリアルタイムで監視できます。 ビジネス要件に基づいてカスタムアラートルールを設定し、データの配布中に発生する例外をできるだけ早く特定できます。 たとえば、データのエクスポートに使用されるデータ配布インスタンスが不十分な場合や、ネットワークのクォータ制限を超えた場合、アラートがトリガーされます。 詳細については、「MaxComputeデータ配布ジョブのアラートの設定 (新バージョン) 」をご参照ください。

項目

説明

過剰なパーティション数

ジョブの再起動時にパーティションの数が予想よりも多い場合、MaxComputeへのデータ書き込みが5分以内に完了しないことがあります。 その結果、重複データがMaxComputeに書き込まれる可能性があります。

データ書き込み失敗

ジョブの再起動時に認証エラーまたはネットワークエラーが発生した場合、MaxComputeへのデータの書き込みに失敗することがあります。 この場合、重複データがMaxComputeに書き込まれる可能性があります。

項目

説明

リージョン内のデータ送信のためのネットワーク

リージョン内でデータを出荷する場合、データはAlibaba Cloud内部ネットワークを介して送信されます。 ネットワークの安定性と速度を確保できます。

項目

説明

読取りトラフィック

Simple Log Serviceは、単一のプロジェクトと単一のシャードの読み取りトラフィックの上限を設定します。 詳細については、「データの読み取りと書き込み」をご参照ください。

制限を超えた場合は、シャードを分割するか、プロジェクトの制限を増やすために申請する必要があります。 制限を超えてジョブがデータの読み込みに失敗した場合、ジョブは少なくとも10回再試行されます。 それでもジョブが失敗すると、エラーが報告され、ジョブが再起動されます。

項目

説明

同時インスタンス数

最大64のデータ配布インスタンスを同時に実行して、データをエクスポートできます。

Simple Log Serviceのシャード数が64を超える場合、複数のシャードが1つのインスタンスにグループ化されてデータがエクスポートされます。 各インスタンスのシャードの数が同じであることを確認してください。

書き込み速度

• 1秒あたり最大10 MBのデータを各MaxComputeパーティションに書き込むことができます。

• MaxComputeプロジェクトに書き込むことができる1秒あたりの最大データ量は、リージョンによって異なります。 たとえば、中国 (杭州) リージョンのMaxComputeプロジェクトに書き込むことができる1秒あたりの最大データ量は、次の式に基づいて計算されます。1メガバイト/秒 × 300 = 300メガバイト/秒。

  • 1メガバイト/秒: スロットごとにMaxComputeに書き込むことができるデータの最大量。 詳細については、「制限事項」をご参照ください。

  • 300: 中国 (杭州) リージョンのMaxComputeプロジェクトに使用できるスロットの最大数。 詳細については、「Limits」をご参照ください。

データ変更の禁止

MaxComputeの新しいバージョンのデータ配布機能では、ストリーミングモードでMaxComputeにデータを書き込むことができます。 データがストリーミングモードでMaxComputeに書き込まれると、MaxCompute streaming Tunnelサービスは、MaxComputeテーブルでのデータの更新、削除、および挿入操作を禁止します。

したがって、MaxComputeの新バージョンと旧バージョンのデータ配布機能を同時に使用して、MaxComputeテーブルにデータを書き込むことはできません。

特殊テーブルへのデータ書き込み

MaxComputeの外部テーブル、トランザクションテーブル、またはクラスタテーブルにデータを書き込むことはできません。

テーブルのスキーマの変更

MaxComputeテーブルのスキーマが変更された場合、データ配布ジョブを20分間一時停止し、ジョブを再開して変更を有効にする必要があります。

項目

説明

書き込み権限

MaxComputeの書き込み権限をResource Access Management (RAM) ユーザーとRAMロールに付与できます。 MaxComputeコンソールで承認を完了する必要があります。

項目

説明

データ配布ジョブの一時停止

データ配布ジョブを一時停止すると、そのジョブは最後に配布されたログのカーソルを記録します。 ジョブを再開した後、ジョブは記録されたカーソルからログを送信し続けます。 Simple Log Serviceは、データ配布ジョブを一時停止するときに次のメカニズムを実装します。

• データ転送ジョブを一定期間一時停止し、転送するデータの保存期間が経過していない場合、ジョブの再開後、システムは最後のカーソルからデータを転送し続けます。

• データ転送ジョブを一定期間一時停止し、転送するデータの保存期間が経過した場合、ジョブを再開した後、システムは最後のカーソルに最も近いデータからデータを転送し続けます。

項目

説明

クラシックネットワークのMaxCompute IPアドレスホワイトリスト

MaxComputeプロジェクトでクラシックネットワークのIPアドレスホワイトリストを有効にすると、データがMaxComputeプロジェクトに送信されない可能性があります。 この問題を解決するには、MaxCompute側で次のコマンドを実行します。

setproject odps.security.ip.whitelist.services= AliyunLogSLRService,AliyunLogDefaultService;

1. setprojectコマンドを実行して、ホワイトリスト設定を照会します。

2. 既存の設定に基づいてsetproject odps.security.ip.whitelist.services; コマンドを作成し、AliyunLogSLRService,AliyunLogDefaultServiceをホワイトリストに追加します。

3. setprojectコマンドを実行して、新しい設定を確認します。