Platform For AI:DeepSeek-V3 および DeepSeek-R1 モデルのワンクリックデプロイ

1. 推論エンジンの選択

2. モデルとリソースの選定

モデルの選択によって、必要な計算リソースとデプロイコストが決まります。DeepSeek モデルには「フルバージョン」と「蒸留版」があり、それぞれリソース要件が大幅に異なります。

• 開発とテスト: DeepSeek-R1-Distill-Qwen-7B などの蒸留版モデルを使用します。これらのモデルはリソースフットプリントが小さく、通常は 24 GB の GPU メモリを搭載した単一の GPU で、迅速にデプロイでき、コスト効率が高いため、迅速な機能検証に最適です。

• 本番環境: パフォーマンスとコストのバランスに基づいて評価します。DeepSeek-R1-Distill-Qwen-32B モデルは、効果とコストのバランスが取れています。より高いモデルパフォーマンスが必要な場合は、フルバージョンモデルを選択してください。これには、それぞれ 96 GB の GPU メモリを搭載した 8 つの GPU など、複数のハイエンド GPU が必要となり、コストが大幅に増加します。

以下の表は、さまざまなモデルバージョンの最小構成と、さまざまなインスタンスタイプおよび推論エンジンでサポートされる最大トークン数を示しています。

API 呼び出し

1. サービスエンドポイントとトークンを取得します。

   1. [Model Gallery]] > [Task Management] > [Deployment Tasks] ページで、デプロイされたサービスの名前をクリックしてサービスの詳細ページに移動します。

   2. [View Call Information] をクリックして、サービスエンドポイントとトークンを取得します。

      

2. チャット API 呼び出しの例を使用します。

   <EAS_ENDPOINT> をサービスエンドポイントに、<EAS_TOKEN> をサービストークンに置き換えます。

   OpenAI SDK

   注：

   • エンドポイントの末尾に /v1 を追加します。

   • BladeLLM で高速化されたデプロイは client.models.list() をサポートしていません。回避策として、model パラメーターを空の文字列 ("") に設定します。

   SGLang/vLLM で高速化されたデプロイ

   from openai import OpenAI
   
   # 1. クライアントを設定
   # <EAS_ENDPOINT> と <EAS_TOKEN> をサービスの実際のエンドポイントとトークンに置き換え
   openai_api_key = "<EAS_TOKEN>"
   openai_api_base = "<EAS_ENDPOINT>/v1"
   
   client = OpenAI(
       api_key=openai_api_key,
       base_url=openai_api_base,
   )
   
   # 2. モデル名を取得
   try:
       model = client.models.list().data[0].id
       print(model)
   except Exception as e:
       print(f"モデルリストの取得に失敗しました。エンドポイントとトークンを確認してください。エラー: {e}")
       
   # 3. リクエストを作成して送信
   stream = True
   
   chat_completion = client.chat.completions.create(
       messages=[
           {"role": "user", "content": "Hello, please introduce yourself."}
       ],
       model=model,
       max_tokens=2048,
       stream=stream,
   )
   
   if stream:
       for chunk in chat_completion:
           print(chunk.choices[0].delta.content, end="")
   else:
       result = chat_completion.choices[0].message.content
       print(result)

   BladeLLM で高速化されたデプロイ

   from openai import OpenAI
   
   ##### API 設定 #####
   # <EAS_ENDPOINT> をデプロイされたサービスのエンドポイントに、<EAS_TOKEN> をデプロイされたサービスのトークンに置き換え
   openai_api_key = "<EAS_TOKEN>"
   openai_api_base = "<EAS_ENDPOINT>/v1"
   
   client = OpenAI(
       api_key=openai_api_key,
       base_url=openai_api_base,
   )
   
   # BladeLLM で高速化されたデプロイは、現在 client.models.list() を使用したモデル名の取得をサポートしていません。互換性のために model の値を "" に設定
   model=""
   stream = True
   
   chat_completion = client.chat.completions.create(
       messages=[
                 {"role": "user", "content": "Hello, please introduce yourself."}
       ],
        model=model,
        max_tokens=2048,
        stream=stream,
       )
   
   if stream:
       for chunk in chat_completion:
           print(chunk.choices[0].delta.content, end="")
   else:
       result = chat_completion.choices[0].message.content
       print(result)

   HTTP

   SGLang/vLLM で高速化されたデプロイ

   モデルリスト API <EAS_ENDPOINT>/v1/models から取得したモデル名で <model_name> を置き換えます。

   curl

   curl -X POST \
       -H "Content-Type: application/json" \
       -H "Authorization: <EAS_TOKEN>" \
       -d '{
           "model": "<model_name>",
           "messages": [
           {
               "role": "user",
               "content": "hello!"
           }
           ]
       }' \
       <EAS_ENDPOINT>/v1/chat/completions
   

   Python

   import json
   import requests
   
   # <EAS_ENDPOINT> をデプロイされたサービスのエンドポイントに、<EAS_TOKEN> をデプロイされたサービスのトークンに置き換え
   EAS_ENDPOINT = "<EAS_ENDPOINT>"
   EAS_TOKEN = "<EAS_TOKEN>"
   
   url = f"{EAS_ENDPOINT}/v1/chat/completions"
   headers = {
       "Content-Type": "application/json",
       "Authorization": EAS_TOKEN,
   }
   
   # <model_name> をモデルリスト API <EAS_ENDPOINT>/v1/models から取得したモデル名に置き換え
   model = "<model_name>"
   stream = True
   messages = [
       {"role": "user", "content": "Hello, please introduce yourself."},
   ]
   
   req = {
       "messages": messages,
       "stream": stream,
       "temperature": 0.6,
       "top_p": 0.5,
       "top_k": 10,
       "max_tokens": 300,
       "model": model,
   }
   response = requests.post(
       url,
       json=req,
       headers=headers,
       stream=stream,
   )
   
   if stream:
       for chunk in response.iter_lines(chunk_size=8192, decode_unicode=False):
           msg = chunk.decode("utf-8")
           if msg.startswith("data"):
               info = msg[6:]
               if info == "[DONE]":
                   break
               else:
                   resp = json.loads(info)
                   print(resp["choices"][0]["delta"]["content"], end="", flush=True)
   else:
       resp = json.loads(response.text)
       print(resp["choices"][0]["message"]["content"])
   

   BladeLLM で高速化されたデプロイ

   curl

   curl -X POST \
       -H "Content-Type: application/json" \
       -H "Authorization: <EAS_TOKEN>" \
       -d '{
           "messages": [
           {
               "role": "user",
               "content": "hello!"
           }
           ]
       }' \
       <EAS_ENDPOINT>/v1/chat/completions
   

   Python

   import json
   import requests
   
   # <EAS_ENDPOINT> をデプロイされたサービスのエンドポイントに、<EAS_TOKEN> をデプロイされたサービスのトークンに置き換え
   EAS_ENDPOINT = "<EAS_ENDPOINT>"
   EAS_TOKEN = "<EAS_TOKEN>"
   
   url = f"{EAS_ENDPOINT}/v1/chat/completions"
   headers = {
       "Content-Type": "application/json",
       "Authorization": EAS_TOKEN,
   }
   
   
   stream = True
   messages = [
       {"role": "user", "content": "Hello, please introduce yourself."},
   ]
   # BladeLLM を使用してデプロイメントを高速化する場合、max_tokens パラメーターを指定しないと、出力はデフォルトで 16 トークンに切り捨てられます。必要に応じて max_tokens リクエストパラメーターを調整することを推奨します。
   req = {
       "messages": messages,
       "stream": stream,
       "temperature": 0.6,
       "top_p": 0.5,
       "top_k": 10,
       "max_tokens": 300,
   }
   response = requests.post(
       url,
       json=req,
       headers=headers,
       stream=stream,
   )
   
   if stream:
       for chunk in response.iter_lines(chunk_size=8192, decode_unicode=False):
           msg = chunk.decode("utf-8")
           if msg.startswith("data"):
               info = msg[6:]
               if info == "[DONE]":
                   break
               else:
                   resp = json.loads(info)
                   if resp["choices"][0]["delta"].get("content") is not None:
                         print(resp["choices"][0]["delta"]["content"], end="", flush=True)
   else:
       resp = json.loads(response.text)
       print(resp["choices"][0]["message"]["content"])

3. 異なるモデルやデプロイフレームワークでは、推論サービスを使用する際の動作が異なります。API 呼び出しに関するより詳細な手順については、Model Gallery のモデル紹介ページをご参照ください。

ローカル WebUI の構築

Gradio は、機械学習モデル用のインタラクティブなインターフェイスを迅速に作成するための、ユーザーフレンドリな Python ライブラリです。次の手順に従って、Gradio WebUI をローカルで実行します。

1. コードのダウンロード: デプロイ時に選択した推論エンジンに基づいて適切なコードをダウンロードします。GitHub へのネットワークアクセスが安定している場合は GitHub リンクを使用します。それ以外の場合は、OSS リンクを使用します。

   • vLLM, SGLang: vLLM/SGLang_github, vLLM/SGLang_oss

   • BladeLLM: BladeLLM_github, BladeLLM_oss

2. 環境の準備: Python 3.10 以降が必要です。依存関係をインストールします: pip install openai gradio。

3. Web アプリケーションの起動: ターミナルで次のコマンドを実行します。<EAS_ENDPOINT> と <EAS_TOKEN> をサービスのエンドポイントとトークンに置き換えます。

   python webui_client.py --eas_endpoint "<EAS_ENDPOINT>" --eas_token "<EAS_TOKEN>"

4. アプリケーションが正常に起動すると、ローカル URL (通常は http://127.0.0.1:7860) がコンソールに出力されます。ブラウザでこの URL を開いて WebUI にアクセスします。

サードパーティアプリケーションの統合

Chatbox、Dify、または Cherry Studio に接続するには、「サードパーティクライアントの統合」をご参照ください。

コストの内訳

パブリックリソースを使用してデプロイされたサービスは、作成時 (ステータスが「Running」になった時点) から停止または削除されるまで分単位で課金され、請求は時間単位で精算されます。サービスがアイドル状態であっても課金は継続します。サービスを停止すると課金も停止します。

詳細については、「Elastic Algorithm Service (EAS) の課金」をご参照ください。

コスト管理の推奨事項

• 迅速なクリーンアップ: 開発およびテスト後は、コストを管理するためにサービスを直ちに [Stop] または [Delete] してください。

• 適切なモデルの選択: 非本番環境では、低コストの蒸留版モデルの使用を優先してください。

• スポットリソースの使用: 非本番タスクの場合、デプロイ時にスポットモードを有効にします。ただし、入札が成功するには特定の条件を満たす必要があり、リソースの不安定性のリスクがあることに注意してください。

• 長期利用割引の活用: 長期間実行される本番サービスの場合、Savings Plansまたはプリペイドリソースを購入することでコストを削減できます。

主なリスク

• 予期せぬコスト: サービスの停止を忘れると、継続的に課金されます。使用後は必ず直ちにリソースをクリーンアップしてください。

• BladeLLM での出力の切り捨て:BladeLLM エンジンを使用する際、API リクエストで max_tokens を指定しないと、出力が 16 トークンに切り捨てられ、予期せぬ動作や機能不全を引き起こす可能性があります。

• 不適切な API 呼び出し仕様:

  • DeepSeek-R1 シリーズのモデルを呼び出す際に messages に system プロンプトを含めると、予期せぬ動作につながる可能性があります。

  • API リクエスト URL は /v1/chat/completions のようなパスで終わる必要があります。そうでない場合、404 エラーが返されます。

• リソースの可用性: LLM、特にフルバージョンのものをデプロイする場合、一部のリージョンではハイエンド GPU リソースの可用性が限られており、デプロイの失敗や長い待機時間につながる可能性があります。他のリージョンへの切り替えを試みてください。

デプロイをクリックした後、サービスが待機のままになる

考えられる理由は次のとおりです:

• 現在のリージョンのマシンリソースが不足しています。

• モデルが大きく、ロードに時間がかかります。DeepSeek-R1 や DeepSeek-V3 のような LLM の場合、このプロセスには 20～30 分かかることがあります。

しばらく待って様子を見ることができます。長時間経過してもサービスが起動しない場合は、以下の手順を試してください。

1. [Task Management] > [Deployment Tasks] ページに移動して、デプロイタスクの詳細を表示します。ページの右上にある [More] > [More Information] をクリックして、PAI-EAS モデルサービスの詳細ページに移動し、サービスインスタンスのステータスを確認します。

   

2. 現在のサービスを停止し、コンソールの左上で別のリージョンに切り替えて再デプロイします。

   説明

   DeepSeek-R1 や DeepSeek-V3 などの超大規模パラメーターモデルでは、サービスを起動するために 8-GPU のセットアップが必要であり、リソースの可用性は限られています。DeepSeek-R1-Distill-Qwen-7B のように、リソースがより容易に入手できる小規模な蒸留モデルのデプロイを検討してください。

API を呼び出すと 404 エラーが発生するのはなぜですか？

呼び出している URL に v1/chat/completions などの OpenAI API サフィックスが追加されているかどうかを確認してください。詳細については、モデルのホームページにある API 呼び出しの説明を参照してください。

vLLM で高速化されたデプロイを使用する場合、チャット API 呼び出しのリクエストボディの model パラメーターに正しいモデル名が入力されているかどうかを確認してください。/v1/models エンドポイントを呼び出すことでモデル名を取得できます。

リクエストが長すぎてゲートウェイタイムアウトが発生する

デプロイ時に使用されるゲートウェイのデフォルトのリクエストタイムアウトは 180 秒です。このタイムアウトを延長する必要がある場合は、専用ゲートウェイを設定し、チケットを起票して専用ゲートウェイのリクエストタイムアウトを調整してください。調整可能な最大タイムアウトは 600 秒です。

「Web 検索」機能がないのはなぜですか？

「Web 検索」機能は、モデルサービスをデプロイするだけでは実装できません。モデルサービスに基づいて AI アプリケーション (Agent) を構築する必要があります。

モデルが思考プロセスをスキップした場合はどうすればよいですか？

DeepSeek-R1 モデルをデプロイし、モデルが時々思考プロセスをスキップする状況に遭遇した場合は、DeepSeek の更新された、思考を強制するチャットテンプレートを使用してください。使用するには：

1. 起動コマンドの変更。

   図に示すように、JSON を編集することでサービス設定を編集します。containers-script フィールドを変更して "--chat-template /model_dir/template_force_thinking.jinja" を追加します ("--served-model-name DeepSeek-R1" の後に追加できます)。

   サービスが既にデプロイされている場合は、[Model Gallery] > [Task Management] > [Deployment Tasks] に移動し、デプロイされたサービスの名前をクリックしてから、詳細ページの右上にある [Update Service] をクリックして同じ設定ページにアクセスします。

   

2. リクエストボディの変更。各リクエストで、messages 配列の末尾に {"role": "assistant", "content": "<think>\n"} を追加します。

DeepSeek-R1 の思考モードを無効にできますか？

DeepSeek-R1 シリーズのモデルは、現在、思考プロセスを無効にすることをサポートしていません。

マルチターン対話はどのように実装しますか？

モデルサービス自体は会話履歴を保存しません。クライアントアプリケーションが履歴を保存し、後続のリクエストに含める責任を負います。以下は、SGLang でデプロイされたサービスの例です。

curl -X POST \
    -H "Content-Type: application/json" \
    -H "Authorization: <EAS_TOKEN>" \
    -d '{
        "model": "<model_name>",
        "messages": [
         {
            "role": "user", 
            "content": "Hello"
        },
        {
            "role": "assistant",
            "content": "Hello! I'm glad to see you. What can I help you with?"
        },
        {
            "role": "user",
            "content": "What was my previous question?"
        }
        ]
    }' \
    <EAS_ENDPOINT>/v1/chat/completions