Platform For AI:EASでLLMをすばやく展開

背景情報

Generative Pre-trained Transformer (GPT) やTongYi Qianwen (Qwen) シリーズのモデルなどのLLMのアプリケーションは、特に推論タスクで大きな注目を集めています。 ビジネス要件に基づいて、幅広いオープンソースのLLMから選択できます。 EASを使用すると、数回クリックするだけで、主流のオープンソースLLMを推論サービスとしてすばやく展開できます。 サポートされているLLMには、Llama 3、Qwen、Llama 2、ChatGLM、Baichuan、Yi-6B、Mistral-7B、Falcon-7Bが含まれます。

WebUIまたはAPIを使用してモデルを呼び出すだけでなく、LangChainフレームワークを使用してビジネスデータに基づいてカスタム応答を生成することもできます。

前提条件

• PAIが有効化され、デフォルトのワークスペースが作成されます。 詳細については、「PAIの有効化とデフォルトワークスペースの作成」をご参照ください。

• Resource Access Management (RAM) ユーザーを使用してモデルを展開する場合は、RAMユーザーにEASを使用する権限があることを確認します。 詳細については、「EASを使用するために必要な権限の付与」をご参照ください。

制限事項

• EASによって提供される推論加速エンジンは、以下のモデルのみをサポートする: Qwen2-7b、Qwen1.5 − 1.8b、Qwen1.5 − 7b、Qwen1.5 − 14b、llama3-8b、llama2-7b、llama2-13b、chatglm3-6b、baichuan2-7b、baichuan2-13b、falcon-7b、yi-6b、mistral-7b-instruct-v0.2、gemma-2b-it、gemma-7b-it deepseek-coder-7b-instruct-v1.5。

• LangChainフレームワークは、推論アクセラレーションエンジンではサポートされていません。

LLMをEASにデプロイ

1. EAS-Online Model Servicesページに移動します。

   1. PAIコンソールにログインします。

   2. 左側のナビゲーションペインで、[ワークスペース] をクリックします。 [ワークスペース] ページで、モデルを配置するワークスペースの名前をクリックします。

   3. 左側のナビゲーションウィンドウで、[モデル展開] > [Elastic Algorithm Service (EAS)] を選択して、[Elastic Algorithm Service (EAS)] ページに移動します。

2. [Elastic Algorithm Service (EAS)] ページで、[サービスのデプロイ] をクリックします。 [シナリオベースのモデル展開] セクションで、[LLM展開] を選択します。

3. [LLMデプロイ] ページで、次のパラメーターを設定します。 他のパラメーターにはデフォルト値を使用します。

   パラメーター	説明
   サービス名	サービスの名前を指定します。 この例では、サービスの名前はllm_demo001です。
   モデルソース	[オープンソースモデル] を選択します。
   モデルタイプ	デプロイするモデル。 この例では、Qwen1.5 − 7bが使用される。 EASは、chatglm3-6bやllama2-13bなどのさまざまなモデルタイプを提供します。 要件に基づいてモデルを選択できます。
   リソース設定	モデルを選択すると、システムは適切なリソース設定を推奨します。 ドロップダウンリストから設定を選択します。 説明 現在のリージョンのリソースが不足している場合は、シンガポール (シンガポール) リージョンにサービスをデプロイするか、その他の推奨設定を選択できます。
   推論の加速	推論アクセラレーションを有効にするかどうかを指定します。 この例では、Not Acceleratedが使用されています。

   

4. [デプロイ] をクリックします。 モデルの展開には約5分かかります。

WebUIを使用した推論の実行

1. デプロイされたサービスを見つけ、[サービスタイプ] 列の [Webアプリの表示] をクリックします。

2. WebUIページで推論パフォーマンスをテストします。

   入力テキストボックスに文を入力し、[送信] をクリックして会話を開始します。 サンプル入力: パーソナルファイナンスの学習プランを提供します。

3. LangChainを使用してビジネスデータを統合します。

   1. デプロイしたサービスのWebUIページで、[LangChain] タブをクリックします。

   2. ChatLLM-LangChain-WebUIページの左下隅で、画面の指示に従ってナレッジベースをアップロードします。 TXT、Markdown、DOCX、およびPDFの形式でファイルをアップロードできます。

      たとえば、README.mdファイルをアップロードし、Vectorstoreのナレッジをクリックします。 次の結果は、ファイル内のデータがロードされたことを示します。

   3. アップロードしたデータに関する質問を入力テキストボックスに入力し、[送信] をクリックして会話を開始します。

      サンプル入力: deepspeedのインストール方法

よくある質問

推論サービスの同時実行性を改善し、待ち時間を短縮するにはどうすればよいですか。

EASはBladeLLMとvLLMを提供します。これらは、高い同時実行性と低いレイテンシを確保するために使用できる推論アクセラレーションエンジンです。 推論アクセラレーションエンジンを使用するには、次の手順を実行します。

1. Elastic Algorithm Service (EAS) ページで、更新するサービスを見つけ、[操作] 列の [サービスの更新] をクリックします。

2. [リソース設定] セクションで、[推論アクセラレーション] パラメーターを変更します。 有効な値：

   • BladeLLM推論の加速

   • オープンソースvLLM推論アクセラレーション

3. [デプロイ] をクリックします。

カスタムモデルをマウントするにはどうすればよいですか?

Object Storage Service (OSS) を使用して、カスタムモデルをマウントできます。 手順：

1. モデルと関連する設定ファイルをOSSバケットにアップロードします。 バケットの作成方法とオブジェクトのアップロード方法については、「バケットの作成」と「オブジェクトのアップロード」をご参照ください。

   次の図は、準備する必要があるモデルファイルのサンプルを示しています。

   config.jsonファイルをアップロードする必要があります。 Huggingfaceモデル形式に基づいてconfig.jsonファイルを設定する必要があります。 サンプルファイルの詳細については、「config.json」をご参照ください。

2. Elastic Algorithm Service (EAS) ページで、更新するサービスを見つけ、[操作] 列の [サービスの更新] をクリックします。

3. [LLMデプロイ] ページで、次のパラメーターを指定し、[デプロイ] をクリックします。

   パラメーター		説明
   基本情報	モデルソース	[カスタム微調整モデル] を選択します。
   	モデルタイプ	モデルに基づいて、[モデル] 、[パラメータ数量] 、および [精度] を選択します。
   	モデル設定	[タイプ] で [OSSのマウント] を選択し、モデルファイルが保存されるOSSパスを指定します。
   リソース設定	リソース設定	モデルタイプパラメーターを指定すると、システムは自動的にリソース設定パラメーターを設定します。 モデルのパラメーター数量に基づいてリソース設定を指定することもできます。

API操作を呼び出して推論を実行するにはどうすればよいですか?

1. サービスエンドポイントとトークンを取得します。

   1. Elastic Algorithm Service (EAS) ページに移動します。 詳細については、このトピックの「EASにLLMを展開する」を参照してください。

   2. サービスの名前をクリックして、[サービスの詳細] タブに移動します。

   3. [基本情報] セクションで、[呼び出し方法] をクリックします。 表示されるダイアログボックスの [パブリックエンドポイント] タブで、トークンとエンドポイントを取得します。

2. API操作を呼び出して推論を実行するには、次のいずれかの方法を使用します。

   HTTPの使用

   • 非ストリーミングモード

     cURLコマンドが実行されると、クライアントは次のタイプの標準HTTPリクエストを送信します。

     • ストリング要求

       curl $host -H 'Authorization: $authorization' --data-binary @chatllm_data.txt -v

       $authorizationをトークンに置き換えます。 $hostをエンドポイントに置き換えます。 chatllm_data.txtファイルは、プロンプトを含むプレーンテキストファイルです。

     • 構造化リクエスト

       curl $host -H 'Authorization: $authorization' -H "Content-type: application/json" --data-binary @chatllm_data.json -v -H "Connection: close"

       chatllm_data.jsonファイルを使用して推論パラメーターを設定します。 次のサンプルコードは、chatllm_data.jsonファイルの形式例を示しています。

       {
         "max_new_tokens": 4096,
         "use_stream_chat": false,
         "prompt": "How to install it?",
         "system_prompt": "Act like you are programmer with 5+ years of experience.",
         "history": [
           [
             "Can you tell me what's the bladellm?",
             "BladeLLM is an framework for LLM serving, integrated with acceleration techniques like quantization, ai compilation, etc. , and supporting popular LLMs like OPT, Bloom, LLaMA, etc."
           ]
         ],
         "temperature": 0.8,
         "top_k": 10,
         "top_p": 0.8,
         "do_sample": true,
         "use_cache": true
       }

       次の表に、上記のコードのパラメーターを示します。 ビジネス要件に基づいてパラメーターを設定します。

       パラメーター	説明	デフォルト値
       max_new_tokens	出力トークンの最大数。	2048
       use_stream_chat	ストリーミングモードで出力トークンを返すかどうかを指定します。	true
       プロンプト	ユーザープロンプト。	""
       system_prompt	システムプロンプト。	""
       history	対話の歴史。 値はList[Tuple(str, str)] 形式です。	[()]
       temperature	モデル出力のランダム性。 より大きな値は、より高いランダム性を指定する。 値0は固定出力を指定します。 値はFloat型で、0から1の範囲です。	0.95
       top_k	生成された結果から選択された出力の数。	30
       top_p	生成された結果から選択された出力の確率しきい値。 値はFloat型で、0から1の範囲です。	0.8
       do_sample	出力サンプリングを有効にするかどうかを指定します。	true
       use_cache	KVキャッシュを有効にするかどうかを指定します。	true

     Pythonリクエストパッケージに基づいて独自のクライアントを実装することもできます。 例：

     import argparse
     import json
     from typing import Iterable, List
     
     import requests
     
     def post_http_request(prompt: str,
                           system_prompt: str,
                           history: list,
                           host: str,
                           authorization: str,
                           max_new_tokens: int = 2048,
                           temperature: float = 0.95,
                           top_k: int = 1,
                           top_p: float = 0.8,
                           langchain: bool = False,
                           use_stream_chat: bool = False) -> requests.Response:
         headers = {
             "User-Agent": "Test Client",
             "Authorization": f"{authorization}"
         }
         if not history:
             history = [
                 (
                     "San Francisco is a",
                     "city located in the state of California in the United States. \
                     It is known for its iconic landmarks, such as the Golden Gate Bridge \
                     and Alcatraz Island, as well as its vibrant culture, diverse population, \
                     and tech industry. The city is also home to many famous companies and \
                     startups, including Google, Apple, and Twitter."
                 )
             ]
         pload = {
             "prompt": prompt,
             "system_prompt": system_prompt,
             "top_k": top_k,
             "top_p": top_p,
             "temperature": temperature,
             "max_new_tokens": max_new_tokens,
             "use_stream_chat": use_stream_chat,
             "history": history
         }
         if langchain:
             pload["langchain"] = langchain
         response = requests.post(host, headers=headers,
                                  json=pload, stream=use_stream_chat)
         return response
     
     def get_response(response: requests.Response) -> List[str]:
         data = json.loads(response.content)
         output = data["response"]
         history = data["history"]
         return output, history
     
     if __name__ == "__main__":
         parser = argparse.ArgumentParser()
         parser.add_argument("--top-k", type=int, default=4)
         parser.add_argument("--top-p", type=float, default=0.8)
         parser.add_argument("--max-new-tokens", type=int, default=2048)
         parser.add_argument("--temperature", type=float, default=0.95)
         parser.add_argument("--prompt", type=str, default="How can I get there?")
         parser.add_argument("--langchain", action="store_true")
     
         args = parser.parse_args()
     
         prompt = args.prompt
         top_k = args.top_k
         top_p = args.top_p
         use_stream_chat = False
         temperature = args.temperature
         langchain = args.langchain
         max_new_tokens = args.max_new_tokens
     
         host = "<EAS service public endpoint>"
         authorization = "<EAS service public token>"
     
         print(f"Prompt: {prompt!r}\n", flush=True)
         # System prompts can be included in the requests. 
         system_prompt = "Act like you are programmer with \
                     5+ years of experience."
     
         # Dialogue history can be included in the requests. The client manages the history to implement multi-round dialogues. In most cases, the information from the previous round of dialogue is used. The information is in the List[Tuple(str, str)] format. 
         history = []
         response = post_http_request(
             prompt, system_prompt, history,
             host, authorization,
             max_new_tokens, temperature, top_k, top_p,
             langchain=langchain, use_stream_chat=use_stream_chat)
         output, history = get_response(response)
         print(f" --- output: {output} \n --- history: {history}", flush=True)
     
     # The server returns a JSON response that includes the inference result and dialogue history. 
     def get_response(response: requests.Response) -> List[str]:
         data = json.loads(response.content)
         output = data["response"]
         history = data["history"]
         return output, history

     次のパラメータに注意してください。

     • hostパラメーターをサービスエンドポイントに設定します。

     • authorizationパラメーターをサービストークンに設定します。

   • ストリーミングモード

     ストリーミングモードでは、HTTP SSEメソッドが使用されます。 サンプルコード：

     import argparse
     import json
     from typing import Iterable, List
     
     import requests
     
     
     def clear_line(n: int = 1) -> None:
         LINE_UP = '\033[1A'
         LINE_CLEAR = '\x1b[2K'
         for _ in range(n):
             print(LINE_UP, end=LINE_CLEAR, flush=True)
     
     
     def post_http_request(prompt: str,
                           system_prompt: str,
                           history: list,
                           host: str,
                           authorization: str,
                           max_new_tokens: int = 2048,
                           temperature: float = 0.95,
                           top_k: int = 1,
                           top_p: float = 0.8,
                           langchain: bool = False,
                           use_stream_chat: bool = False) -> requests.Response:
         headers = {
             "User-Agent": "Test Client",
             "Authorization": f"{authorization}"
         }
         if not history:
             history = [
                 (
                     "San Francisco is a",
                     "city located in the state of California in the United States. \
                     It is known for its iconic landmarks, such as the Golden Gate Bridge \
                     and Alcatraz Island, as well as its vibrant culture, diverse population, \
                     and tech industry. The city is also home to many famous companies and \
                     startups, including Google, Apple, and Twitter."
                 )
             ]
         pload = {
             "prompt": prompt,
             "system_prompt": system_prompt,
             "top_k": top_k,
             "top_p": top_p,
             "temperature": temperature,
             "max_new_tokens": max_new_tokens,
             "use_stream_chat": use_stream_chat,
             "history": history
         }
         if langchain:
             pload["langchain"] = langchain
         response = requests.post(host, headers=headers,
                                  json=pload, stream=use_stream_chat)
         return response
     
     
     def get_streaming_response(response: requests.Response) -> Iterable[List[str]]:
         for chunk in response.iter_lines(chunk_size=8192,
                                          decode_unicode=False,
                                          delimiter=b"\0"):
             if chunk:
                 data = json.loads(chunk.decode("utf-8"))
                 output = data["response"]
                 history = data["history"]
                 yield output, history
     
     
     if __name__ == "__main__":
         parser = argparse.ArgumentParser()
         parser.add_argument("--top-k", type=int, default=4)
         parser.add_argument("--top-p", type=float, default=0.8)
         parser.add_argument("--max-new-tokens", type=int, default=2048)
         parser.add_argument("--temperature", type=float, default=0.95)
         parser.add_argument("--prompt", type=str, default="How can I get there?")
         parser.add_argument("--langchain", action="store_true")
         args = parser.parse_args()
     
         prompt = args.prompt
         top_k = args.top_k
         top_p = args.top_p
         use_stream_chat = True
         temperature = args.temperature
         langchain = args.langchain
         max_new_tokens = args.max_new_tokens
     
         host = ""
         authorization = ""
     
         print(f"Prompt: {prompt!r}\n", flush=True)
         system_prompt = "Act like you are programmer with \
                     5+ years of experience."
         history = []
         response = post_http_request(
             prompt, system_prompt, history,
             host, authorization,
             max_new_tokens, temperature, top_k, top_p,
             langchain=langchain, use_stream_chat=use_stream_chat)
     
         for h, history in get_streaming_response(response):
             print(
                 f" --- stream line: {h} \n --- history: {history}", flush=True)
     

     次のパラメータに注意してください。

     • hostパラメーターをサービスエンドポイントに設定します。

     • authorizationパラメーターをサービストークンに設定します。

   WebSocketの使用

   WebSocketプロトコルは、ダイアログ履歴を効率的に処理できます。 WebSocketメソッドを使用してサービスに接続し、1回以上のダイアログを実行できます。 サンプルコード：

   osのインポート
   インポート時間
   jsonのインポート
   インポート構造体
   マルチプロセッシングのインポートプロセスから
   
   websocketのインポート
   
   ラウンド=5
   questions = 0
   
   
   def on_message_1(ws, message):
       if message == "<EOS>":
           print('pid-{} timestamp-({}) receives end message: {}'.format(os.getpid()) 、
                 time.time(), message), flush=True)
           ws.send(struct.pack('!H', 1000), websocket.ABNF.OPCODE_CLOSE)
       else：
           print("{}".format(time.time()))
           print('pid-{} timestamp-({}) --- メッセージ受信: {}'.format(os.getpid()) 、
                 time.time(), message), flush=True)
   
   
   def on_message_2(ws, message):
       グローバルな質問
       print('pid-{} --- メッセージ受信: {}'.format(os.getpid(), message))
       # クライアント側のストリーミングを終了する
       if message == "<EOS>":
           questions = questions + 1
           questions == 5の場合:
               ws.send(struct.pack('!H', 1000), websocket.ABNF.OPCODE_CLOSE)
   
   
   def on_message_3(ws, message):
       print('pid-{} --- メッセージ受信: {}'.format(os.getpid(), message))
       # クライアント側のストリーミングを終了する
       ws.send(struct.pack('!H', 1000), websocket.ABNF.OPCODE_CLOSE)
   
   
   def on_error(ws, error):
       print('error happened: ', str(error))
   
   
   def on_close(ws, a, b):
       プリント ("### closed ###", a, b)
   
   
   def on_pong(ws, pong):
       プリント ('pong:'、pong)
   
   # streamチャット検证テスト
   def on_open_1(ws):
       print('Opening Websocket connection to the server ... ')
       params_dict = {}
       params_dict['prompt'] = "" "Show me a golangコードの例:" ""
       params_dict['temperature'] = 0.9
       params_dict['top_p'] = 0.1
       params_dict['top_k'] = 30
       params_dict['max_new_tokens '] = 2048
       params_dict['do_sample'] = True
       raw_req = json.dumps(params_dict, ensure_ascii=False).encode('utf8')
       # raw_req = f "" "サーバーへのWebsocket接続を開くには:" ""
   
       ws.send(raw_req)
       # クライアント側のストリーミングを終了する
   
   
   # マルチラウンドクエリ検証テスト
   def on_open_2(ws):
       グローバルラウンド
       print('Opening Websocket connection to the server ... ')
       params_dict = {"max_new_tokens": 6144}
       params_dict['temperature'] = 0.9
       params_dict['top_p'] = 0.1
       params_dict['top_k'] = 30
       params_dict['use_stream_chat '] = True
       params_dict['prompt'] = "こんにちは! "
       params_dict = {
           "system_prompt":
           「あなたが5年以上の経験を持つプログラマーのように行動してください。」
       }
       raw_req = json.dumps(params_dict, ensure_ascii=False).encode('utf8')
       ws.send(raw_req)
       params_dict['prompt'] = "Pythonでソートアルゴリズムを記述してください。
       raw_req = json.dumps(params_dict, ensure_ascii=False).encode('utf8')
       ws.send(raw_req)
       params_dict['prompt'] = "プログラミング言語をJavaに変換してください。
       raw_req = json.dumps(params_dict, ensure_ascii=False).encode('utf8')
       ws.send(raw_req)
       params_dict['prompt'] = "ご紹介ください。
       raw_req = json.dumps(params_dict, ensure_ascii=False).encode('utf8')
       ws.send(raw_req)
       params_dict['prompt'] = "上記のダイアログを要約してください。"
       raw_req = json.dumps(params_dict, ensure_ascii=False).encode('utf8')
       ws.send(raw_req)
   
   
   # Langchain検証テスト。
   def on_open_3(ws):
       グローバルラウンド
       print('Opening Websocket connection to the server ... ')
   
       params_dict = {}
       # params_dict['prompt'] = "" "サーバーへのWebsocket接続を開くには:" ""
       params_dict['prompt'] = "" "MNNは何ですか?""
       params_dict['temperature'] = 0.9
       params_dict['top_p'] = 0.1
       params_dict['top_k'] = 30
       params_dict['max_new_tokens '] = 2048
       params_dict['use_stream_chat '] = False
       params_dict['langchain'] = True
       raw_req = json.dumps(params_dict, ensure_ascii=False).encode('utf8')
       ws.send(raw_req)
   
   
   authorization = ""
   host = "ws://" + ""
   
   
   def single_call(on_open_func、on_message_func、on_clonse_func=on_close):
       ws = websocket.WebSocketApp (
           ホスト、
           on_open=on_open_func、
           on_message=on_message_func、
           on_error=on_error、
           on_pong=on_pong,
           on_close=on_clonse_func、
           header=[
               'Authorization: '+ authorization] 、
       )
   
       # 長い接続を維持するためのping間隔の設定。
       ws.ru n_forever(ping_interval=2)
   
   
   if __name__ == "__main__":
       範囲のiのため (5):
           p1=プロセス (target=single_call, args=(on_open_1, on_message_1))
           p2=プロセス (target=single_call, args=(on_open_2, on_message_2))
           p3=プロセス (target=single_call, args=(on_open_3, on_message_3))
   
           p1.start()
           p2.start()
           p3.start()
   
           p1.join()
           p2.join()
           p3.join() 

   次のパラメータに注意してください。

   • authorizationパラメーターをサービストークンに設定します。

   • hostパラメーターをサービスエンドポイントに設定します。エンドポイントのhttpプレフィックスをwsに置き換えます。

   • use_stream_chatパラメーターを使用して、クライアントがストリーミングモードで出力を生成するかどうかを指定します。 デフォルト値は True です。

   • マルチラウンドダイアログを実装するには、上記のコードのon_open_2関数を参照してください。

さらにパラメーターを設定するにはどうすればよいですか?

1. Elastic Algorithm Service (EAS) ページで、更新するサービスを見つけ、[操作] 列の [サービスの更新] をクリックします。

2. [LLMデプロイ] ページで、右上隅の [カスタムデプロイに変換] をクリックします。

3. [モデルサービス情報] セクションで、次の [実行するコマンド] を指定し、[デプロイ] をクリックします。

   パラメーター	説明	デフォルト値
   -- モデルパス	プリセットモデル名またはカスタムモデルパスを指定します。 例1: プリセットモデルを読み込みます。 Llama-2-7b-hf、Llama-2-7b-chat-hf、Llama-2-13b-hf、Llama-2-13b-chat-hfなど、メタラマ /ラマ2-* シリーズのプリセットモデルを使用できます。 例： python webui/webui_server.py -- port=8000 -- model-path=meta-llama/Llama-2-7b-chat-hf 例2: オンプレミスのカスタムモデルを読み込みます。 例: python webui/webui_server.py -- port=8000 -- model-path=/llama2-7b-chat	meta-llama/Llama-2-7b-chat-hf
   -- cpu	CPUを使用してモデル推論を実行します。 例: python webui/webui_server.py -- port=8000 -- cpu	デフォルトでは、GPUはモデル推論に使用されます。
   -- 精密	Llama2モデルの精度を指定します。 有効な値: fp32およびfp16。 例: python webui/webui_server.py -- port=8000 -- precision=fp32	システムは、GPUメモリサイズに基づいて7Bモデルの精度を自動的に指定します。
   -- ポート	サーバーのリスニングポートを指定します。 サンプルコード: python webui/webui_server.py -- port=8000	8000
   -- apiのみ	ユーザーがAPI操作を呼び出すことによってのみサービスにアクセスできるようにします。 デフォルトでは、サービスはWebUIとAPIサーバーの両方を起動します。 サンプルコード: python webui/webui_server.py -- api-only	False
   -- no-api	ユーザーがWebUIを使用してのみサービスにアクセスできるようにします。 デフォルトでは、サービスはWebUIとAPIサーバーの両方を起動します。 サンプルコード: python webui/webui_server.py -- no-api	False
   -- max-new-tokens	出力トークンの最大数。 サンプルコード: python api/api_server.py -- port=8000 -- max-new-tokens=1024	2048
   -- 温度	モデル出力のランダム性。 より大きな値は、より高いランダム性を指定する。 値0は固定出力を指定します。 値はFloat型で、0から1の範囲です。 サンプルコード: python api/api_server.py -- port=8000 -- max_length=0.8	0.95
   -- max_round	推論中にサポートされるダイアログの最大ラウンド数。 サンプルコード: python api/api_server.py -- port=8000 -- max_round=10	5
   -- top_k	生成された結果から選択された出力の数。 値は正の整数です。 例: python api/api_server.py -- port=8000 -- top_k=10	なし
   -- top_p	生成された結果から選択された出力の確率しきい値。 値はFloat型で、0から1の範囲です。 サンプルコード: python api/api_server.py -- port=8000 -- top_p=0.9	なし
   -テンプレートなし	Llama 2やFalconなどのモデルは、デフォルトのプロンプトテンプレートを提供します。 このパラメーターを空のままにすると、デフォルトのプロンプトテンプレートが使用されます。 このパラメーターを設定する場合は、独自のテンプレートを指定する必要があります。 サンプルコード: python api/api_server.py -- port=8000 -- no-template	このパラメーターを指定しないと、デフォルトのプロンプトテンプレートが自動的に使用されます。
   -- logレベル	ログ出力レベル。 有効な値: DEBUG、INFO、WARNING、およびERROR。 サンプルコード: python api/api_server.py -- port=8000 -- log-level=DEBUG	INFO
   -- export-history-path	EAS-LLMを使用して、会話履歴をエクスポートできます。 この場合、サービスを開始するときに会話履歴をエクスポートする出力パスを指定する必要があります。 ほとんどの場合、OSSバケットのマウントパスを指定できます。 EASは、特定の期間に発生した会話の記録をファイルにエクスポートします。 サンプルコード: python api/api_server.py -- port=8000 -- export-history-path=/your_mount_path	デフォルトで、この機能は無効化されています。
   -- エクスポート間隔	会話が記録されている期間。 単位は秒です。 たとえば、-- export-intervalパラメーターを3600に設定すると、前の1時間の会話レコードがファイルにエクスポートされます。	3600

関連ドキュメント

• EASの詳細については、「EASの概要」をご参照ください。

• WebUIページでLangChainフレームワークを使用すると、APIを使用するときにナレッジベースも使用できます。 ナレッジベースをオンプレミスのベクトルデータベースに保存することをお勧めします。 詳細については、「RAGベースのLLMチャットボット」をご参照ください。

• ChatLLM-WebUIのバージョンの詳細については、「ChatLLM WebUIのリリースノート」をご参照ください。