Platform For AI:PAI-EAS での大規模言語モデルのデプロイ

cURL

curl -X POST <EAS_ENDPOINT>/v1/chat/completions \
    -H "Content-Type: application/json" \
    -H "Authorization: <EAS_TOKEN>" \
    -d '{
        "model": "<model_name>",
        "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "hello"
        }
        ],
        "max_tokens":1024,
        "temperature": 0.7,
        "top_p": 0.8,
        "stream":true
    }'

以下：

• <EAS_ENDPOINT> と <EAS_TOKEN> を、デプロイしたサービスのエンドポイントとトークンに置き換えます。

• <model_name> をモデル名に置き換えます。vLLM/SGLang の場合、モデル名は <EAS_ENDPOINT>/v1/models のモデルリスト API から取得できます。

  curl -X GET <EAS_ENDPOINT>/v1/models -H "Authorization: <EAS_TOKEN>"

OpenAI SDK

公式の Python SDK を使用してサービスと対話します。OpenAI SDK がインストールされていることを確認してください：pip install openai。

from openai import OpenAI

# 1. クライアントの設定
# <EAS_TOKEN> をデプロイしたサービスのトークンに置き換えます
openai_api_key = "<EAS_TOKEN>"
# <EAS_ENDPOINT> をデプロイしたサービスのエンドポイントに置き換えます
openai_api_base = "<EAS_ENDPOINT>/v1"

client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)

# 2. モデル名の取得
# BladeLLM の場合、model = "" と設定します。BladeLLM は model パラメーターを必要とせず、client.models.list() を使用したモデル名の取得をサポートしていません。OpenAI SDK の必須パラメーター要件を満たすために、空の文字列に設定します。
models = client.models.list()
model = models.data[0].id
print(model)

# 3. チャットリクエストの送信
# ストリーミング (stream=True) と非ストリーミング (stream=False) 出力をサポートします
stream = True
chat_completion = client.chat.completions.create(
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "hello"},          
    ],
    model=model,
    top_p=0.8,
    temperature=0.7,
    max_tokens=1024,
    stream=stream,
)

if stream:
    for chunk in chat_completion:
        print(chunk.choices[0].delta.content, end="")
else:
    result = chat_completion.choices[0].message.content
    print(result)

Python の requests ライブラリ

OpenAI SDK への依存関係を必要としないシナリオでは、requests ライブラリを使用できます。

import json
import requests

# <EAS_ENDPOINT> をデプロイしたサービスのエンドポイントに置き換えます
EAS_ENDPOINT = "<EAS_ENDPOINT>"
# <EAS_TOKEN> をデプロイしたサービスのトークンに置き換えます
EAS_TOKEN = "<EAS_TOKEN>"
# <model_name> をモデル名に置き換えます。<EAS_ENDPOINT>/v1/models のモデルリスト API から取得できます。BladeLLM の場合、この API はサポートされていません。"model" フィールドを省略するか、"" に設定できます。
model = "<model_name>"

url = f"{EAS_ENDPOINT}/v1/chat/completions"
headers = {
    "Content-Type": "application/json",
    "Authorization": EAS_TOKEN,
}

stream = True
messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "hello"},
]

req = {
    "messages": messages,
    "stream": stream,
    "temperature": 0.7,
    "top_p": 0.8,
    "max_tokens": 1024,
    "model": model,
}
response = requests.post(
    url,
    json=req,
    headers=headers,
    stream=stream,
)

if stream:
    for chunk in response.iter_lines(chunk_size=8192, decode_unicode=False):
        msg = chunk.decode("utf-8")
        # 次のコードは、サーバー送信イベント (SSE) 形式のストリーミング応答を処理します
        if msg.startswith("data:"):
            info = msg[6:]
            if info == "[DONE]":
                break
            else:
                resp = json.loads(info)
                if resp["choices"][0]["delta"].get("content") is not None:
                    print(resp["choices"][0]["delta"]["content"], end="", flush=True)
else:
    resp = json.loads(response.text)
    print(resp["choices"][0]["message"]["content"])

Dify

1. OpenAI-API-compatible モデルプロバイダーのインストール

   右上のプロフィール写真をクリックし、[Settings] を選択します。左側のナビゲーションウィンドウで、[Model Providers] を選択します。[Model List] に [OpenAI-API-compatible] がない場合は、下のリストから見つけて [Install] をクリックします。

   

2. モデルの追加

   [OpenAI-API-compatible] カードの右下にある [Add Model] をクリックし、パラメーターを次のように設定します：

   • モデルタイプ：LLM を選択します。

   • Model Name：vLLM デプロイメントの場合、GET リクエストを /v1/models API に送信して名前を取得します。例えば、Qwen3-8B と入力します。

   • API Key：EAS サービスのトークンを入力します。

   • API endpoint URL：EAS サービスのインターネットエンドポイントを入力します。注：末尾に /v1 を追加してください。

3. 使用方法

   1. Dify のメインページで、[Create Blank App] をクリックします。Chatflow タイプを選択し、アプリケーション名などの情報を入力してから、[Create] をクリックします。

   2. LLM ノードをクリックし、追加したモデルを選択して、コンテキストとプロンプトを設定します。

   3. 右上の [Preview] をクリックし、質問を入力します。

      

Chatbox

1. Chatbox にアクセスします。お使いのデバイス用のバージョンをダウンロードしてインストールするか、[Launch Web App] をクリックして Web 版を使用します。この例では、M3 チップを搭載した macOS を使用します。

2. モデルプロバイダーを追加します。[Settings] をクリックし、モデルプロバイダーを追加して、pai などの名前を入力し、[API Mode] に [OpenAI API Compatible] を選択します。

   

3. pai モデルプロバイダーを選択し、次のパラメーターを設定します。

   • API Key：EAS サービスのトークンを入力します。

   • API Host：EAS サービスのインターネットエンドポイントを入力します。注：末尾に /v1 を追加してください。

   • API Path：このフィールドは空のままにします。

   • Model：[Get] をクリックしてモデルを追加します。推論エンジンが BladeLLM で、API を介した取得をサポートしていない場合は、[New] をクリックしてモデル名を入力します。

   

4. 会話をテストします。[New Chat] をクリックします。テキスト入力ボックスの右下で、モデルサービスを選択します。

   

Cherry Studio

1. クライアントのインストール

   Cherry Studio にアクセスしてクライアントをダウンロードし、インストールします。

   https://github.com/CherryHQ/cherry-studio/releases からもダウンロードできます。

2. モデルサービスの設定

   1. 左下の [Settings] ボタンをクリックします。[Model Service] セクションで、[Add] をクリックします。[Provider Name] に、PAI などのカスタム名を入力します。[Provider Type] を [OpenAI] に設定します。[OK] をクリックします。

   2. [API Key] に、EAS サービスのトークンを入力します。[API Address] に、EAS サービスのインターネットエンドポイントを入力します。

   3. [Add] をクリックします。[Model ID] に、モデル名を入力します。vLLM デプロイメントの場合、GET リクエストを /v1/models API に送信して名前を取得します。例えば、Qwen3-8B と入力します。名前は大文字と小文字を区別することに注意してください。

   4. [API Key] 入力ボックスの横にある [Test] をクリックして、接続性を確認します。

3. モデルのクイックテスト

   ダイアログボックスに戻ります。上部でモデルを選択し、会話を開始します。