通過網關進行公網或內網調用 - Platform For AI

EAS提供了共用網關和專屬網關，支援通過公網或內網調用部署的模型推理服務，調用流程基本一致，您可以根據業務需求選擇網關類型和訪問方式。

網關類型選擇

EAS服務的網關提供共用網關和專屬網關，兩者差異如下：

對比維度	共用網關	專屬網關
公網調用	預設支援	支援，需先開通
內網調用	預設支援	支援，需先開通
成本	免費提供	額外付費
頻寬	共用	專享
適用情境	測試環境和流量比較小、無需定製存取原則的服務	對安全性、穩定性和效能要求高且流量比較大的服務
服務配置方式	預設配置，直接使用。	需先建立，部署時選擇，詳見使用專屬網關。

推薦方案：

開發測試環境使用共用網關
生產環境使用專屬網關

訪問方式選擇

公網地址

適用於任何可以訪問公網的環境。請求通過EAS共用網關轉寄至您部署的服務。

適用情境：

從阿里雲外部調用服務
本地開發測試
整合到外部應用

VPC地址

適用於當您的應用程式與EAS服務部署在同一地區的情況。同地區的VPC網路可以建立VPC串連實現安全通訊。

適用情境：

應用程式運行在阿里雲上且與EAS服務在同一地區
需要更低的延遲和成本
不希望服務暴露在公網

重要

相比公網調用，VPC內網調用速度更快（免去公網調用中的網路效能開銷）且成本更低（內網流量通常免費）。

如何調用服務

調用EAS服務需要三個關鍵要素：

服務訪問地址（Endpoint）
授權令牌（Token）
根據模型API規範構造的請求

步驟一：擷取訪問地址和Token

部署服務後，系統會自動產生訪問地址和授權令牌。

重要

控制台提供的是基礎地址。您通常需要在其後拼接正確的介面路徑才能構成完整的請求URL。路徑錯誤是導致404 Not Found的最常見原因。

在推理服务頁簽，單擊目標服務名稱進入概览頁面。
在基本信息地區，單擊查看调用信息。
在调用信息面板，複製訪問地址和Token：
- 根據需要選擇公網地址或VPC地址。
- 後續樣本中使用<EAS_ENDPOINT>代表訪問地址，<EAS_TOKEN>代表Token。

步驟二：構造並發送請求

無論是使用公網地址還是VPC地址，請求的格式都相同。一個標準請求，通常包含以下四個核心要素：

要求方法（Method）： 最常用的是POST、GET。
請求路徑（URL）：
- 格式：<EAS_ENDPOINT> + API路徑
- 樣本：http://16********.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/test + /v1/chat/completion
要求標頭（Headers）：
- Authorization: <EAS_TOKEN> （必需，用於認證）
- Content-Type: application/json （POST請求通常必需）
請求體（Body）：格式（比如JSON）取決於部署的模型API規範。
重要
通過網關調用時，請求體大小不得超過 1MB。

調用樣本

調用vLLM部署的DeepSeek-R1-Distill-Qwen-7B模型服務，所需元素：

要求方法：POST
請求路徑：<EAS_ENDPOINT>/v1/chat/completions （對話介面）
要求標頭：
- Authorization: <Token>
- Content-Type: application/json

請求體：

{
    "model": "DeepSeek-R1-Distill-Qwen-7B",
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant."
    },
    {
        "role": "user",
        "content": "hello!"
    }
    ]
}

程式碼範例：

假設<EAS_ENDPOINT>為http://16********.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/test。

curl

curl http://16********.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/test/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: *********5ZTM1ZDczg5OT**********" \
-X POST \
-d '{
    "model": "DeepSeek-R1-Distill-Qwen-7B",
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant."
    },
    {
        "role": "user",
        "content": "hello!"
    }
    ]
}'

Python

import requests

# 替換為實際訪問地址
url = 'http://16********.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/test/v1/chat/completions'
# header資訊 Authorization的值為實際的Token
headers = {
    "Content-Type": "application/json",
    "Authorization": "*********5ZTM1ZDczg5OT**********",
}
# 根據具體模型要求的資料格式構造服務要求。
data = {
    "model": "DeepSeek-R1-Distill-Qwen-7B",
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "hello!"
        }
    ]
}
# 發送請求
resp = requests.post(url, json=data, headers=headers)
print(resp)
print(resp.content)

更多LLM服務調用說明，請參見LLM調用。

常見問題

關於服務調用的常見問題和解決方案，請參見服務調用FAQ。

Platform For AI：通過網關進行公網或內網調用