Platform For AI:EASでQwenをすばやく展開

web UIでのモデル推論の実行

1. 表示するサービスを見つけて、[サービスタイプ] 列の [Webアプリの表示] をクリックします。

2. web UIでモデル推論を実行します。

オンラインデバッグを使用したモデル推論の実行

1. 表示するサービスの [操作] 列で、[オンラインデバッグ] をクリックします。 [オンラインデバッグ] タブが表示されます。

2. [ボディ] セクションで、リクエストをJSON形式で指定し、[リクエストの送信] をクリックします。 応答は、右側の [デバッグ情報] セクションで返されます。

   説明

   この例では、デバッグ情報はリスト形式である。 入力フィールドは入力内容であり、履歴フィールドは履歴ダイアログである。 本体は2つのセクションを含むリストです。 最初のセクションは質問であり、2番目のセクションは質問に対する答えです。

   1. historyフィールドなしでリクエストを入力することで推論を開始できます。 例：

      {"input": "Where is the provincial capital of Zhejiang?"}

      サービスは、historyフィールドを含む結果を返します。 例：

      Status Code: 200
      Content-Type: application/json
      Date: Mon, 14 Aug 2023 12:01:45 GMT
      Server: envoy
      Vary: Accept-Encoding
      X-Envoy-Upstream-Service-Time: 511
      Body: {"response":"The provincial capital of Zhejiang is Hangzhou. ","history":[["Where is the provincial capital of Zhejiang?","The provincial capital of Zhejiang is Hangzhou."]]} 

   2. 次のリクエストに履歴フィールドを含めて、継続的な会話を実行できます。 例：

      {"input": "What about Jiangsu?", "history": [["Where is the provincial capital of Zhejiang?","The provincial capital of Zhejiang is Hangzhou."]]}

      サービスは結果を返します。 例：

      Status Code: 200
      Content-Type: application/json
      Date: Mon, 14 Aug 2023 12:01:23 GMT
      Server: envoy
      Vary: Accept-Encoding
      X-Envoy-Upstream-Service-Time: 522
      Body: {"response":"The provincial capital of Jiangsu is Nanjing.","history":[["Where is the provincial capital of Zhejiang?","The provincial capital of Zhejiang is Hangzhou."],[ "What about Jiangsu?","The provincial capital of Jiangsu is Nanjing."]]} 

APIを使用したモデル推論の実行

API操作を呼び出してサービスを呼び出すことができます。

1. サービスの詳細ページで、[エンドポイント情報の表示] をクリックします。 [Invocation Method] ダイアログボックスで、[Public Endpoint] パラメーターと [Token] パラメーターの値を取得します。

   

2. 端末で取得した情報に基づいてサービスを呼び出します。 例：

   curl -d '{"input": "What about Jiangsu?", "history": [["Where is the provincial capital of Zhejiang?", "The provincial capital of Zhejiang is Hangzhou."]]}' -H "Authorization: xxx" http://xxxx.com

   サービスは結果を返します。 例：

   {"response":"The provincial capital of Jiangsu is Nanjing.","history":[["Where is the provincial capital of Zhejiang?","The provincial capital of Zhejiang is Hangzhou."],["What about Jiangsu?","The provincial capital of Jiangsu is Nanjing."]]}

ビジネス要件に基づいてサービスにHTTPリクエストを送信します。 デバッグの詳細については、[推論サービスのデプロイ] トピックのPAIが提供するSDKを参照してください。 サンプルPythonコード:

import requests
import json

data = {"input": "Who are you?"}
response = requests.post(url='http://qwen-demo.16623xxxxx.cn-hangzhou.pai-eas.aliyuncs.com/',
              headers={"Authorization": "yourtoken"},
              data=json.dumps(data))

print(response.text)

data = {"input": "What can you do?", "history": json.load (response.text)["history"]}


response = requests.post(url='http://qwen-demo.16623xxxxx.cn-hangzhou.pai-eas.aliyuncs.com/',
              headers={"Authorization": "yourtoken"},
              data=json.dumps(data))

print(response.text)

ストリーミングモードでモデル推論を実行

1. サービスの詳細ページで、[エンドポイント情報の表示] をクリックします。 [Invocation Method] ダイアログボックスで、[Public Endpoint] パラメーターと [Token] パラメーターの値を取得します。

   

2. ターミナルで、次のPythonコードを実行して、取得した情報に基づいてストリーミング要求を送信します。

   #encoding=utf-8
   from websockets.sync.client import connect
   import os
   import platform
   
   def clear_screen():
       if platform.system() == "Windows":
           os.system("cls")
       else:
           os.system("clear")
   
   
   def print_history(history):
       print("Welcome to the Qwen-7B model. Start the conversation by entering a content. Press clear to clear the conversation history and stop to terminate the program.")
       for pair in history:
           print(f"\nUser: {pair[0]}\nQwen-7B: {pair[1]}")
   
   
   def main():
       history, response = [], ''
       clear_screen()
       print_history(history)
       with connect("<service_url>", additional_headers={"Authorization": "<token>"}) as websocket:
   
           while True:
               query = input("\nUser: ")
               if query.strip() == "stop":
                   break
               websocket.send(query)
               while True:
                   msg = websocket.recv()
                   
                   if msg == '<EOS>':
                       break
                   clear_screen()
                   print_history(history)
                   print(f"\nUser: {query}")
                   print("\nQwen-7B: ", end="")
                   print(msg)
                   response = msg
                   
               history.append((query, response))
   
   
   if __name__ == "__main__":
       main()

   • <service_url> を手順1で取得したエンドポイントに置き換え、エンドポイントのhttpをwsに置き換えます。

   • <token> を手順1で取得したサービストークンに置き換えます。