Platform For AI:Horizontal auto scaling feature

パラメーターの説明

• 基本構成

  パラメーター	説明	推奨事項とリスク警告
  [インスタンスの最小数]	サービスがスケールインできるインスタンスの最小数です。最小値は 0 です。	本番環境の推奨事項： 継続的な可用性が必要なサービスでは、この値を 1 以上に設定することを強く推奨します。 重要 この値を 0 に設定すると、トラフィックがない場合にすべてのサービスインスタンスが削除されます。その場合、新しいリクエストは完全なコールドスタートの遅延 (数十秒から数分かかる場合があります) に直面し、その間サービスは利用できなくなります。また、専用ゲートウェイを使用するサービスでは、この値を 0 に設定することはサポートされていません。
  最大インスタンス数	サービスがスケールアウトできるインスタンスの最大数です。最大値は 1000 です。	予期しないトラフィックの急増によるコスト超過を防ぐため、予測されるピークトラフィックとアカウントのリソースクォータに基づいてこの値を設定します。
  一般的なスケーリングメトリクス	スケーリングをトリガーするために使用される組み込みのパフォーマンスメトリックです。	[インスタンスあたりの QPS しきい値]： ストレステストの結果に基づいて設定し、通常は単一インスタンスの最適パフォーマンスの 70% から 80% に設定します。 重要 単一インスタンスの QPS しきい値を小数値に設定するには、クライアント (eascmd) を使用して qps1k フィールドを設定します。 [CPU 使用率のしきい値]： この値を低く設定しすぎるとリソースの無駄遣いになり、高く設定しすぎるとリクエストのレイテンシーに悪影響を与える可能性があります。応答時間 (RT) メトリックに基づいてこの値を設定します。 [GPU 使用率のしきい値]： RT メトリックに基づいてこの値を設定します。 [非同期キューの長さ]： 非同期サービスにのみ適用されます。平均タスク処理時間と許容可能なレイテンシーに基づいて設定します。詳細については、「非同期推論サービスの水平オートスケーリングの設定」をご参照ください。
  カスタムスケーリングメトリクス	カスタムメトリックをレポートし、オートスケーリングに使用できます。詳細については、「カスタムモニタリングとスケーリングメトリック」をご参照ください。	組み込みのメトリックがビジネス要件を満たさない複雑なシナリオに適しています。

• 高度な構成

  パラメーター	説明	推奨事項とリスク警告
  [スケールアウト遅延]	スケールアウト決定のための観測ウィンドウです。スケールアウトがトリガーされた後、システムはこの期間中にメトリックを観測します。メトリック値がしきい値を下回った場合、スケールアウトはキャンセルされます。単位は秒です。	デフォルトは 0 秒で、即座にスケールアウトが発生することを意味します。一時的なトラフィックの急増による不要なスケーリングを防ぐために、この値を増やします (例：60 秒)。
  スケールイン遅延	スケールイン決定のための観測ウィンドウで、サービスのジッターを防ぐための重要なパラメーターです。スケールインは、メトリックがこの期間全体でしきい値を下回り続けた後にのみ発生します。単位は秒です。	デフォルトは 300 秒です。これは、トラフィックの変動による頻繁なスケールインイベントに対する中心的な保護機能です。サービスの安定性に影響を与える可能性があるため、この値を低く設定しすぎないでください。
  ゼロへのスケールイン遅延	[インスタンスの最小数] が 0 の場合、このパラメーターはインスタンス数が 0 に減少するまでの待機時間を定義します。	サービスの完全なシャットダウンを遅らせ、トラフィックが回復する可能性に備えたバッファーを提供します。
  ゼロからの追加インスタンス	サービスが 0 インスタンスからスケールアウトする際に追加するインスタンス数です。	初期のトラフィックバーストに対応でき、コールドスタート中のサービスの利用不能時間を短縮できる値に設定します。

設定例

次の scaler.json の例には、一般的な設定オプションが含まれています：

{
    "min": 1,
    "max": 2,
    "behavior": {
        "onZero": {
            "interceptTraffic": false,
            "scaleDownGracePeriodSeconds": 700,
            "scaleUpActivationReplicas": 2
        },
        "scaleDown": {
            "stabilizationWindowSeconds": 20
        },
        "scaleUp": {
            "stabilizationWindowSeconds": 10
        }
    },
    "scaleStrategies": [
        {
            "metricName": "queue[backlog]",
            "threshold": 10
        },
        {
            "metricName": "qps",
            "threshold": 1
        },
        {
            "metricName": "cpu",
            "threshold": 80
        },
        {
            "metricName": "gpu[util]",
            "threshold": 60
        }
    ]
}

パラメーターの説明