Platform For AI:Horizontal auto scaling

パラメーターの説明

• 基本設定

  パラメーター	説明	推奨事項とリスク警告
  Minimum Replicas	サービスがスケールインできるレプリカの最小数。最小値は 0 です。	本番環境の推奨事項： 継続的な可用性が必要なサービスの場合、この値を 1 以上に設定することを強く推奨します。 重要 これを 0 に設定すると、トラフィックがない場合にすべてのサービスレプリカが削除されます。新しいリクエストは完全なコールドスタートの遅延を経験し、これは数十秒から数分かかることがあります。この間、サービスは利用できません。さらに、専用ゲートウェイを使用するサービスは、この値を 0 に設定することをサポートしていません。
  Maximum Replicas	サービスがスケールアウトできるレプリカの最大数。最大値は 1000 です。	予期しないトラフィックスパイクによるコスト超過を防ぐため、推定されるピークトラフィックとアカウントのリソースクォータに基づいてこの値を設定します。
  General Scaling Metrics	スケーリングをトリガーするために使用される組み込みのパフォーマンスメトリック。	QPS Threshold of Individual Instance： 値はストレステストによって決定され、通常は単一レプリカの最適パフォーマンスの 70% から 80% に設定されます。 重要 単一レプリカの QPS しきい値を小数値に設定するには、クライアント (eascmd) を使用し、qps1k フィールドを設定します。 CPU Utilization Threshold： しきい値が低いとリソースの無駄になり、高いとリクエストのレイテンシーが増加する可能性があります。応答時間 (RT) メトリックに基づいてこの値を設定します。 GPU utilization threshold： 応答時間 (RT) メトリックに基づいてしきい値を設定します。 Asynchronous Queue Length： このパラメーターは非同期サービスにのみ適用されます。平均タスク処理時間と許容レイテンシーに基づいてこのパラメーターを設定できます。詳細については、「非同期推論サービスの水平オートスケーリングの設定」をご参照ください。
  Custom Scaling Metric	カスタムメトリックをレポートし、オートスケーリングに使用できます。詳細については、「カスタムモニタリングとスケーリングメトリック」をご参照ください。	組み込みメトリックがビジネス要件を満たさない複雑なシナリオに適しています。

• 高度な設定

  パラメーター	説明	推奨事項とリスク警告
  Scale-out Starts in	スケールアウト決定のための観測ウィンドウ。スケールアウトがトリガーされた後、システムはこの期間中にメトリックを観測します。メトリック値がしきい値を下回った場合、スケールアウトはキャンセルされます。単位は秒です。	デフォルトは 0 秒で、即座にスケールアウトが発生します。一時的なトラフィックの異常による不要なスケーリングを防ぐために、この値を例えば 60 秒に増やすことができます。
  Scale-in Starts in	スケールイン決定のための観測ウィンドウ。これは、サービスのジッターを防ぐための重要なパラメーターです。スケールインは、メトリックがこの期間全体でしきい値を下回り続けた後にのみ発生します。単位は秒です。	デフォルトは 300 秒です。この値は、トラフィックの変動による頻繁なスケールインイベントに対する中心的な保護策です。サービスの安定性に影響を与える可能性があるため、この値を低く設定しすぎないでください。
  Scale-in to 0 Instance Starts in	Minimum Replicas が 0 に設定されている場合、このパラメーターはスケールイン条件が満たされてからレプリカ数が 0 に減少するまでの遅延を指定します。	サービスの完全なシャットダウンを遅延させます。これにより、潜在的なトラフィック回復のためのバッファーが提供されます。
  Scale-from-Zero Replica Count	コールドスタート中にサービスが 0 レプリカからスケールアウトする際に一度に追加するレプリカの数。	初期のトラフィックバーストを処理できる妥当な値に設定します。これにより、コールドスタート中のサービスの利用不可時間を短縮します。

設定例

以下の scaler.json の例には、一般的な設定項目が含まれています：

{
    "min": 1,
    "max": 2,
    "behavior": {
        "onZero": {
            "interceptTraffic": false,
            "scaleDownGracePeriodSeconds": 700,
            "scaleUpActivationReplicas": 2
        },
        "scaleDown": {
            "stabilizationWindowSeconds": 20
        },
        "scaleUp": {
            "stabilizationWindowSeconds": 10
        }
    },
    "scaleStrategies": [
        {
            "metricName": "queue[backlog]",
            "threshold": 10
        },
        {
            "metricName": "qps",
            "threshold": 1
        },
        {
            "metricName": "cpu",
            "threshold": 80
        },
        {
            "metricName": "gpu[util]",
            "threshold": 60
        }
    ]
}

パラメーターの説明