Platform For AI:EAS よくある質問

サービスは次の 2 つのシナリオで失敗状態になります。

• サービスデプロイ中：デプロイ中にモデルアドレスなどの指定されたリソースが存在しない場合、エラーの原因がサービスの現在のステータス情報に表示されます。通常、このエラーメッセージからデプロイメントの失敗原因を特定できます。

• サービス起動中：サービスがデプロイされ、リソースにスケジューリングされた後に起動に失敗します。この場合、ステータスメッセージ Instance <network-test-5ff76448fd-h9dsn> not healthy: Instance crashed, please inspect instance log. が表示されます。

  このステータスメッセージは、サービスインスタンスの起動に失敗したことを示します。具体的な原因を特定するには、サービスの [概要] ページの [サービスインスタンス] リストで失敗したステータスを確認する必要があります。インスタンスの失敗の考えられる原因は次のとおりです。

  • 起動中にメモリ不足 (OOM) エラーが発生したため、サービスインスタンスがシステムによって終了されました。この場合、サービスのメモリを増やしてサービスを再デプロイする必要があります。次の図はインスタンスのステータスを示しています。

  • 起動時にコードエラーが原因で、サービスがクラッシュすることがあります。この場合、[最終ステータス]はエラー(エラーコード)になります。インスタンスの[アクション]列の[ログ]ボタンをクリックして、サービスログを確認し、障害の原因を特定します。次の図は、インスタンスのステータスを示しています。

  • サービスイメージのプルに失敗しました。詳細については、「イメージのプルに失敗した場合 (ImagePullBackOff)、どうすればよいですか？」をご参照ください。

問題の説明：EAS サービスが停止してからしばらくすると自動的に再起動します。

原因：

これは、サービスに Auto Scaling が設定されており、インスタンスの最小数が 0 に設定されているために発生します。トラフィックがない期間が続くと、インスタンス数は自動的に 0 にスケールインされます。インスタンスが利用できないときにリクエストが到着すると、設定されたスケールアウトのメトリクスのしきい値に達していなくても、スケールアウトが自動的にトリガーされます。

デプロイイベントの Auto Scaling の説明に基づいて、スケールアウトが自動的にトリガーされたかどうかを判断できます。

ソリューション：

• サービスが不要になった場合は、削除できます。

• サービスを削除したくない場合は、コンソールで [停止] をクリックするか、StopService API 操作を呼び出すことで手動で停止できます。手動で停止したサービスは、トラフィックによってスケールアウトすることはできません。

• 弾性スケーリングによってサービスが自動的に停止されないようにするには、インスタンスの最小数を 0 に設定しないでください。

• 予期しないトラフィックがスケールアウトをトリガーするのを防ぐために、必要に応じて Auto Scaling を無効にすることもできます。

問題の説明：

PAI-EAS は起動時に次のエラーを報告します。

[2024-10-21 20:59:33] serialize_file(_flatten(tensors), filename, metadata=metadata)

[2024-10-21 20:59:33] safetensors_rust.SafetensorError: Error while serializing: IoError(Os { code: 28, kind: StorageFull, message: "No space left on device" })

[2024-10-21 20:59:35] time="2024-10-21T12:59:35Z" level=info msg="program stopped with status:exit status 1" program=/bin/sh

原因：モデルファイルが多すぎるため、EAS インスタンスのシステムディスクがいっぱいになり、サービスが正常に起動できなくなっています。

ソリューション：

ソリューション 1：EAS インスタンスのシステムディスクをスケールアウトします。

ソリューション 2：モデルファイルが大きすぎる場合は、OSS や NAS などの外部ストレージに保存し、ストレージマウントを使用して読み取ることができます。

exec format error は、オペレーティングシステムがターゲットの実行可能ファイルを実行できないことを示します。最も一般的な原因は、実行可能ファイルまたはコンテナーイメージの CPU アーキテクチャがホストシステムのアーキテクチャと互換性がないことです。

別のリソース仕様に切り替えてみてください。

複数の GPU 間の通信効率を最大化するために、単一のサービスに指定する GPU の数は 2 のべき乗である必要があります。

0、1、2、4、8、または 16 個の GPU を割り当てることができます。

サービスインスタンスリストの [最後の終了理由] に ImagePullBackOff が表示されている場合、イメージのプルに失敗した可能性があります。[ステータス] 列に次のアイコンが表示されている場合は、そのアイコンをクリックして具体的な原因を表示できます。

イメージのプルに失敗する一般的な原因は次のとおりです。

イメージサービスと EAS のリージョンに基づいて、次の推奨事項に従ってください。

• 同じリージョン：内部 URL を使用してイメージをプルします。

• 異なるリージョン：ACR Personal Edition の場合、パブリックイメージ URL を使用する必要があります。ACR Enterprise Edition の場合、次のいずれかのオプションを選択します。

  • セキュリティと安定性に対する要件が高い場合は、内部イメージ URL を使用します。Cloud Enterprise Network (CEN) を使用して VPC を接続する必要があります。詳細については、「異なるリージョンまたは IDC から ACR Enterprise Edition インスタンスにアクセスする」をご参照ください。

  • ビジネスシナリオが単純であるか、内部ネットワークをすぐに接続できない場合は、一時的な解決策としてパブリックイメージ URL を使用します。インターネット経由のダウンロードは遅くなることに注意してください。

ACR Enterprise Edition インスタンスに関する次の点に注意してください。

• 必要に応じて、VPC とインターネットのアクセスの制御を設定します。

• リポジトリが匿名でのイメージプルを許可していない場合、インターネット経由で異なるリージョンからイメージをプルするときに、EAS でイメージリポジトリのユーザー名とパスワードを提供する必要があります。

いいえ。PAI 公式イメージは内部プラットフォームイメージです。PAI プラットフォーム上でのみ使用できます。プラットフォームのコンテナー外でダウンロードすることはできません。

これは通常、現在のリージョンでリソースが不足しているために発生します。

サブスクリプションのマシンインスタンスの場合、リソース不足により作成が失敗すると、システムは自動的に返金注文を作成します。支払われた金額はアカウントに返金されます。

Alibaba Cloud のサブスクリプション解除ページに移動して、未使用の EAS サブスクリプション専用マシンのサブスクリプションを解除できます。ページで、次の手順を実行します。

• [タイプ] には、[部分返金] を選択します。

• 製品名には、[EAS Dedicated Machine Subscription] を選択します。

[検索] をクリックして、サブスクライブを解除したいリソースを検索します。次に、[アクション] 列の [リソースのサブスクライブ解除] をクリックし、コンソールの指示に従ってプロセスを完了します。

いいえ、サービスインスタンスのデータは保持されません。

問題を回避するため、1 コア、2 GB のリソース仕様は利用できなくなりました。EAS は各マシンノードにシステムコンポーネントをデプロイし、これらのコンポーネントは一部のマシンリソースを消費します。マシンの仕様が小さすぎると、システムコンポーネントが占めるリソースの割合が高くなりすぎ、利用可能なリソースの割合が減少します。

EAS でデプロイできるサービスインスタンスの最大数は、残りのリソース使用量によって異なります。コンソールのリソースグループのマシンリストで残りの使用量を確認できます。詳細については、「EAS リソースグループの使用」をご参照ください。

CPU コアの数に基づいてタスクを割り当てる場合、デプロイできるインスタンスの最大数は (CPU コア数 - 1) / 各インスタンスが使用するコア数です。

ecs.gn8ia-2x.8xlarge 仕様は、4090 グラフィックカードと同様のパフォーマンスを持っています。

モデルサービスの最大同時実行数は、モデル、シナリオ、リソース構成など、複数の要因に依存します。詳細については、「サービスの自動ストレステスト」をご参照ください。

いいえ。EAS はリモート SSH 接続をサポートしていません。コンテナーに入ってデバッグすることはできません。コマンドを実行するには、実行コマンドで設定することをお勧めします。

EAS サービスには次のステータスがあります。Elastic Algorithm Service (EAS) ページに移動し、[サービスステータス] 列を表示することもできます。

• 作成中：サービスが作成されています。

• 待機中：サービスはインスタンスの起動を待っています。

• 停止済み：サービスは停止しています。

• 失敗：サービスは失敗しました。

• 更新中：サービスが更新されています。インスタンスが更新されます。

• 停止中：サービスが停止されています。

• ホットアップデート：サービスが更新されています。これはホットアップデートであり、インスタンスは更新されません。

• 起動中：サービスが起動しています。

• 削除失敗：サービスの削除に失敗しました。

• 実行中：サービスが実行中です。

• スケーリング中：サービスが更新されています。インスタンスがスケーリングされています。

• 保留中：サービスは特定のアクションを待っています。

• 削除中：サービスが削除されています。

• 完了：タスクは完了しました。

• 準備中：サービスが準備されています。

ActionTrail を使用してこの情報をクエリできます。詳細については、「ActionTrail コンソールでイベントをクエリする」をご参照ください。

ステータスコードの詳細については、「付録：サービスステータスコードと一般的なエラー」をご参照ください。

はい、サポートしています。http を https に置き換えるだけで、より安全な暗号化された伝送が可能です。呼び出し元の環境が HTTPS 証明書の検証をサポートしていることを確認してください。クライアントで SSL 証明書検証エラー (Python requests など) が発生した場合、これは通常、EAS サービスの問題ではなく、クライアント環境の構成の問題です。

共有ゲートウェイでは HTTP アクセスをブロックできません。専用ゲートウェイの場合は、[HTTPS リダイレクト] を有効にできます。これにより、すべての HTTP リクエストが HTTPS プロトコルにリダイレクトされます。

はい、できます。専用ゲートウェイを使用する必要があります。詳細については、「専用ゲートウェイを使用したサービスの呼び出し」をご参照ください。

いいえ、そうではありません。サービスがデプロイされると、トークンは長期間有効です。サービスを再起動してもトークンは変更されません。トークンは、カスタム認証で手動でリセットするか、サービスを削除した場合にのみ変更されます。

いいえ、できません。EAS サービスインスタンスは 1 つの固定認証トークンのみをサポートします。アクセスの制御や個別の計測のために、単一のサービスに対して複数のトークンを作成することはできません。マルチユーザー認証管理を実装するには、Alibaba Cloud RAM 認証などのより複雑なソリューションを使用することをお勧めします。

EAS サービス自体は、デプロイ時にデフォルトのストリーミング応答用に設定することはできません。各 API 呼び出しリクエストの本文で、ストリーミング出力を希望することを明示的に指定する必要があります。

たとえば、LLM サービスを呼び出すときに、JSON リクエストボディに "stream": true パラメーターを追加できます。

• VPC エンドポイント呼び出し：このメソッドは、プライベート向け SLB とゲートウェイを使用します。これは古典的なリクエストモデルです。このモデルでは、リクエストは SLB のレイヤー 4 とゲートウェイのレイヤー 7 を介して転送され、サービスインスタンスに到達します。高トラフィックおよび高同時実行のシナリオでは、この転送によりパフォーマンスのオーバーヘッドが発生します。ゲートウェイには帯域幅制限もあり、デフォルトでは 1 Gbps です。

• VPC 直接接続：EAS は、追加費用なしでパフォーマンスと拡張性の問題を解決する高速直接接続アクセスモードを提供します。VPC 直接接続を有効にすると、ご利用の VPC と EAS サービス VPC の間にネットワークパスが確立されます。リクエストは、EAS が提供するサービスディスカバリ機能を使用してサービスを特定し、クライアントコードで負荷分散されたサービスリクエストを開始します。このプロセスでは、EAS が提供する SDK を使用し、endpoint_type を DIRECT に設定する必要があります。

  たとえば、「Python SDK の使用方法」で説明されているシナリオでは、次のコード行を追加してゲートウェイ呼び出しから直接接続に切り替えることができます。

  client = PredictClient('http://pai-eas-vpc.cn-hangzhou.aliyuncs.com', 'mnist_saved_model_example')
  client.set_token('<your_token>')
  client.set_endpoint_type(ENDPOINT_TYPE_DIRECT) # Direct link
  client.init()

EAS オンラインサービスが正常にデプロイされた後、curl コマンドを使用して、パブリックまたは VPC エンドポイントを使用してサービスを呼び出すことができます。手順は次のとおりです。

1. サービスのエンドポイントとトークンを取得します。

   1. [Elastic Algorithm Service][ (EAS)] ページで、対象のサービスをクリックして、その概要ページに移動します。

   2. [基本情報] セクションで、[呼び出し情報を表示] をクリックします。

   3. [呼び出し情報] ダイアログボックスの [パブリックエンドポイント呼び出し] または [VPC エンドポイント呼び出し] タブで、サービスエンドポイントとトークンを取得します。

2. curl コマンドを使用してサービスを呼び出します。

   例：

   $ curl <service_url> -H 'Authorization: <service_token>' -d '[{"sex":0,"cp":0,"fbs":0,"restecg":0,"exang":0,"slop":0,"thal":0,"age":0,"trestbps":0,"chol":0,"thalach":0,"oldpeak":0,"ca":0}]'

   各項目は次のとおりです。

   • <service_url>: 取得したサービスエンドポイントに置き換えます。

   • <service_token>: 取得したトークンと置き換えます。

   • -d: サービスリクエストデータを設定します。