Platform For AI:ゲートウェイを介してインターネットまたは内部ネットワーク経由でサービスを呼び出す

1. エンドポイントとトークンの取得

サービスをデプロイすると、システムは必要なエンドポイントとトークンを自動的に生成します。

2. リクエストの作成と送信

インターネットエンドポイントと VPC エンドポイントの両方で、リクエストの作成方法は同じですが、URL のみ異なります。標準的な呼び出しリクエストには、通常 4 つのコアコンポーネントが含まれます:

• メソッド: 最も一般的なメソッドは POST と GET です。

• URL: ベースの <EAS_ENDPOINT> に特定のリクエストパスを追加したもの。

• リクエストヘッダー: 少なくとも、Authorization: <EAS_TOKEN> などの認証トークンを含める必要があります。

• リクエストボディ: デプロイされたモデルの API が、JSON などのフォーマットを決定します。

  重要

  ゲートウェイを介してサービスを呼び出す場合、リクエストボディは 1 MB を超えることはできません。

シナリオ 1: モデルギャラリーからデプロイされたモデルを呼び出す

モデルギャラリーの [モデル紹介] ページを直接参照してください。ここには、cURL または Python での最も正確な API 呼び出しの例が提供されており、完全な URL パスとリクエストボディのフォーマットが含まれています。

シナリオ 2: 大規模言語モデルを呼び出す

大規模言語モデル (LLM) サービスは通常、チャット補完エンドポイント (/v1/chat/completions) や補完エンドポイント (/v1/completions) など、OpenAI 互換の API エンドポイントを提供します。

たとえば、vLLM でデプロイされた DeepSeek-R1-Distill-Qwen-7B モデルサービスのチャット補完エンドポイントを呼び出すには、次のコンポーネントが必要です。詳細については、「LLM の呼び出し」をご参照ください。

• メソッド: POST

• URI: <EAS_ENDPOINT>/v1/chat/completions

• リクエストヘッダー: Authorization: <EAS_TOKEN> および Content-Type: application/json

• リクエストボディ:

  {
      "model": "DeepSeek-R1-Distill-Qwen-7B",
      "messages": [
      {
          "role": "system",
          "content": "You are a helpful assistant."
      },
      {
          "role": "user",
          "content": "hello!"
      }
      ]
  }

例: cURL と Python での呼び出し

<EAS_ENDPOINT> が http://16********.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/test であると仮定します。

curl http://16********.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/test/v1/chat/completions
-H "Content-Type: application/json" \
-H "Authorization: *********5ZTM1ZDczg5OT**********" \
-X POST \
-d '{
    "model": "DeepSeek-R1-Distill-Qwen-7B",
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant."
    },
    {
        "role": "user",
        "content": "hello!"
    }
    ]
}' 

import requests

# 実際の エンドポイントに置き換えます。
url = 'http://16********.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/test/v1/chat/completions'
# ヘッダーの Authorization の値は実際のトークンです。
headers = {
    "Content-Type": "application/json",
    "Authorization": "*********5ZTM1ZDczg5OT**********",
}
# 特定のモデルで必要なデータ形式に基づいてサービスリクエストを作成します。
data = {
    "model": "DeepSeek-R1-Distill-Qwen-7B",
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "hello!"
        }
    ]
}
# リクエストを送信します。
resp = requests.post(url, json=data, headers=headers)
print(resp)
print(resp.content)

その他のシナリオ

• ComfyUI API の呼び出し。

• SDWebUI API の呼び出し。

• TensorFlow Serving サービスの呼び出し。

• ユニバーサルプロセッサ (TensorFlow、Caffe、PMML を含む) でデプロイされたサービスの場合: 「ユニバーサルプロセッサに基づくサービスリクエストの作成」をご参照ください。

• 自分でトレーニングしたモデル: 呼び出し方法は元のモデルと同じです。

• その他のカスタムサービス: カスタムイメージまたはコードで定義したデータ入力フォーマットによって、リクエストフォーマットが決まります。