Platform For AI:RAGベースのLLMチャットボット

背景情報

前提条件

• 仮想プライベートクラウド (VPC) 、vSwitch、およびセキュリティグループが作成されます。 詳細については、「VPCの作成と管理」および「セキュリティグループの作成」をご参照ください。

  説明

  Facebook AI類似性検索 (Faiss) を使用してベクトルデータベースを構築する場合、上記の前提条件は必要ありません。

• Object Storage Service (OSS) バケットまたはApsara File Storage NAS (NAS) ファイルシステムを作成して、微調整されたモデルファイルを保存します。 微調整されたモデルを使用してチャットボットをデプロイする場合は、この前提条件を満たす必要があります。 詳細については、「OSSコンソールを使用して開始する」または「ファイルシステムの作成」をご参照ください。

  説明

  Faissを使用してベクターデータベースを構築する場合は、OSSバケットを準備する必要があります。

制限事項

ベクターデータベースとEASは同じリージョンにデプロイする必要があります。

注意

この方法は、LLMサービスのトークンの最大数に左右され、RAGベースのLLMチャットボットの基本的な検索機能を理解するのに役立つように設計されています。

• チャットボットは、LLMサービスのサーバーリソースサイズとトークンのデフォルト数によって制限されます。 チャットボットがサポートする会話の長さも制限されています。

• 複数回の会話を実行する必要がない場合は、チャットボットのチャット履歴機能を無効にすることを推奨します。 これは、限界に達する可能性を効果的に低減する。 詳細については、このトピックの「RAGベースのチャットボットのチャット履歴機能を無効にするにはどうすればよいですか?」セクションをご参照ください。

ステップ1: ベクターデータベースの準備

ベクトルデータベースを構築するには、Faiss、Elasticsearch、 Hologres、OpenSearch、およびApsaraDB RDS for PostgreSQL ベクターデータベースを構築するときは、後続の操作でベクターデータベースに接続するために使用される必要なパラメーター設定を保存します。

ステップ2: RAGベースのチャットボットのデプロイ

1. EASページに移動します。

   1. Platform for AI (PAI) コンソールにログインします。

   2. 左側のナビゲーションペインで、[ワークスペース] をクリックします。 [ワークスペース] ページで、モデルを配置するワークスペースを見つけ、その名前をクリックして [ワークスペースの詳細] ページに移動します。

   3. 左側のナビゲーションウィンドウで、[モデル展開] > [Elastic Algorithm Service (EAS)] を選択して、[Elastic Algorithm Service (EAS)] ページに移動します。

2. [Elastic Algorithm Service (EAS)] ページで、[サービスのデプロイ] をクリックします。 [シナリオベースのモデル展開] セクションで、[RAGベースのスマートダイアログ展開] をクリックします。

3. RAGベースのLLM Chatbotデプロイページで、パラメーターを設定します。 次の表では、さまざまなセクションの主要なパラメーターについて説明します。

   • 基本情報

     パラメーター	説明
     サービス名	サービスの名前です。
     モデルソース	モデルのソース。 有効な値: オープンソースモデルおよびカスタム微調整モデル。
     モデルタイプ	モデルタイプ。 ビジネス要件に基づいてモデルタイプを選択します。 モデルソースパラメーターをカスタム微調整モデルに設定した場合、モデルタイプのパラメーターの数量と精度を設定する必要があります。
     モデル設定	モデルソースパラメーターを [カスタム微調整モデル] に設定した場合、微調整モデルファイルを格納するパスを設定する必要があります。 有効な値： 説明 モデルファイル形式がHugging Face transformersと互換性があることを確認してください。 マウントOSS: 微調整されたモデルファイルが格納されているOSSパス。 マウントNAS: 微調整されたモデルファイルが格納されているNASファイルシステムと、NASファイルシステムのソースパス。

   • リソース設定

     パラメーター	説明
     リソース設定	モデルソースパラメーターをオープンソースモデルに設定した場合、システムはデフォルト値として選択されたモデルタイプに基づいてインスタンスタイプを自動的に選択します。 モデルソースパラメーターを [カスタム微調整モデル] に設定した場合、モデルに一致するインスタンスタイプを選択します。 詳細については、「EASでLLMを迅速にデプロイする」トピックの「別のオープンソースLLMに切り替えるにはどうすればよいですか?」セクションをご参照ください。
     推論の加速	推論アクセラレーションは、A10またはGU30インスタンスにデプロイされているQwen、Llama2、ChatGLM、またはBaichuan2モデルに対して有効にできます。 次の推論アクセラレーションメソッドが提供されます。 BladeLLM推論アクセラレーション: BladeLLM推論アクセラレーションエンジンは、高い同時実行性と低いレイテンシを保証します。 BladeLLMを使用すると、費用対効果の高い方法でLLM推論を高速化できます。 オープンソースvLLM推論アクセラレーション

   • ベクトルデータベース设定

     ビジネス要件に基づいてベクトルデータベースを構築するサービスを選択します。

     フェア

     パラメーター	説明
     Vectorデータベース型	ベクターデータベースの構築に使用するサービス。 [FAISS] を選択します。
     OSSパス	ベクトルデータベースのOSSパス。 現在のリージョンでOSSパスを選択します。 利用可能なOSSパスがない場合は、OSSパスを作成できます。 詳細については、「OSSコンソールを使用して開始する」をご参照ください。

     Elasticsearch

     パラメーター	説明
     Vectorデータベース型	ベクターデータベースの構築に使用するサービス。 [Elasticsearch] を選択します。
     プライベートエンドポイントとポート	手順1で取得したプライベートエンドポイントとポート番号。 形式: http:// Private endpoint:Port number
     インデックス名	インデックスの名前。 新しいインデックス名または既存のインデックス名を入力できます。 既存のインデックス名を使用する場合、インデックススキーマはRAGベースのチャットボットの要件を満たす必要があります。 たとえば、EASを使用してRAGベースのチャットボットをデプロイするときに自動的に作成されるインデックスの名前を入力できます。
     [アカウント]	手順1でElasticsearchクラスターを作成したときに設定したユーザー名。
     Password	手順1でElasticsearchクラスターを作成したときに設定したパスワード。

     Hologres

     パラメーター	説明
     Vectorデータベース型	ベクターデータベースの構築に使用するサービス。 [ホログラム] を選択します。
     呼び出し情報	ステップ1で取得したHologres呼び出し情報。
     データベース名	手順1で作成したデータベースの名前。
     [アカウント]	手順1で作成したカスタムアカウント。
     Password	手順1で作成したカスタムアカウントのパスワード。
     テーブル名	テーブルの名前。 新しいテーブル名または既存のテーブル名を入力できます。 既存のテーブル名を使用する場合、テーブルスキーマはRAGベースのチャットボットの要件を満たす必要があります。 たとえば、EASを使用してRAGベースのチャットボットをデプロイするときに自動的に作成されるHologresテーブルの名前を入力できます。

     OpenSearch

     パラメーター	説明
     Endpoint	手順1で取得したパブリックエンドポイント。
     インスタンスID	手順1で作成したOpenSearch Vector Search EditionインスタンスのID。
     ユーザー名	手順1でOpenSearch Vector Search Editionインスタンスを作成するときに指定したユーザー名とパスワード。
     Password
     テーブル名	手順1でOpenSearch Vector Search Editionインスタンス用に設定したインデックステーブルの名前。

     RDS for PostgreSQL

     パラメーター	説明
     ホストアドレス	手順1で取得した内部エンドポイントまたはパブリックエンドポイント。
     ポート	実際のポート番号。 デフォルト値: 5432
     データベース	手順1で作成したデータベースの名前。
     テーブル名	テーブル名を指定します。
     [アカウント]	ステップ1で作成した特権アカウント。
     Password	ステップ1で作成した特権アカウントのパスワード。

   • VPC設定

     パラメーター	説明
     [VPC]	Hologres、Elasticsearch、OpenSearch、またはRDS PostgreSQLを使用する場合 ベクトルデータベースを構築するには、ベクトルデータベースがデプロイされているVPCを選択します。 説明 OpenSearchを使用してベクターデータベースを構築する場合は、別のVPCを選択できます。 ただし、インターネット経由でVPCにアクセスでき、関連するEIPがOpenSearchインスタンスのパブリックアクセスホワイトリストに追加されていることを確認する必要があります。 詳細については、「インターネットNATゲートウェイのSNAT機能を使用したインターネットへのアクセス」および「パブリックアクセスホワイトリストの設定」をご参照ください。 Faissを使用してベクターデータベースを構築する場合、VPCを設定する必要はありません。
     vSwitch
     セキュリティグループ名

4. [デプロイ] をクリックします。

   [サービスステータス] 列の値が [実行中] に変わると、RAGベースのチャットボットがデプロイされます。

ステップ3: web UIでモデル推論を実行する

この手順では、web UIでRAGベースのチャットボットをデバッグする方法について説明します。 web UIでRAGベースのチャットボットのQ&Aパフォーマンスをテストした後、PAIが提供するAPI操作を呼び出して、RAGベースのチャットボットをビジネスシステムに適用できます。 詳細については、このトピックの「手順4: API操作を呼び出してモデル推論を実行する」をご参照ください。

1. RAGベースのチャットボットの設定

1. RAGベースのチャットボットがデプロイされたら、[サービスタイプ] 列の [Webアプリの表示] をクリックしてweb UIに移動します。

2. 機械学習モデルを設定します。

   • 埋め込みモデル名: 4つのモデルが利用可能です。 デフォルトでは、最適なモデルが選択されています。

   • 埋め込みディメンション: 埋め込みモデル名パラメーターを設定すると、システムは自動的にこのパラメーターを設定します。

3. ベクトルデータベースが接続されているかどうかを確認します。

   システムは、チャットボットのデプロイ時に構成されたベクトルデータベース設定を自動的に認識して適用します。 設定は変更できません。 Hologresを使用してベクターデータベースを構築する場合は、[Hologresの接続] をクリックして、Hologresのベクターデータベースが接続されているかどうかを確認します。

2. ビジネスデータファイルのアップロード

3。 モデル推論パラメーターの設定

4。 モデル推論の実行

手順4: API操作を呼び出してモデル推論を実行

1. RAGベースのチャットボットの呼び出し情報を取得します。

   1. RAGベースのチャットボットの名前をクリックして、[サービスの詳細] ページに移動します。

   2. [基本情報] セクションで、[エンドポイント情報の表示] をクリックします。

   3. [パブリックエンドポイント] タブで、サービスエンドポイントとトークンを取得します。

2. web UI上のベクターデータベースに接続し、ビジネスデータファイルをアップロードします。 詳細については、このトピックの1. RAGベースのチャットボットの設定と2. ビジネスデータファイルのアップロードセクションをご参照ください。

3. API操作を呼び出してモデル推論を実行します。

   PAIでは、さまざまなクエリモードで次のAPI操作を使用して、RAGベースのチャットボットを呼び出すことができます。検索モードではservice/query/retrieval、llmモードではservice/query /LLM、RAGモードではservice/queryです。 サンプルコード：

   cURLコマンド

   • シングルラウンドの会話検索要求を開始する

     • 方法1: service/query/retrieval操作を呼び出します。

       curl -X 'POST'  '<service_url>service/query/retrieval' -H 'Authorization: <service_token>' -H 'accept: application/json' -H 'Content-Type: application/json'  -d '{"question": "What is PAI?"}'
       # Replace <service_url> and <service_token> with the service endpoint and service token that you obtained in Step 1.

     • 方法2: /service/query/llm操作を呼び出します。

       curl -X 'POST'  '<service_url>service/query/llm' -H 'Authorization: <service_token>' -H 'accept: application/json'  -H 'Content-Type: application/json'  -d '{"question": "What is PAI?"}'
       # Replace <service_url> and <service_token> with the service endpoint and service token that you obtained in Step 1.

       {"question":"What is PAI?" 、"temperature": 0.9} など、他の調整可能な推論パラメーターを追加できます。

     • 方法3: service/query操作を呼び出します。

       curl -X 'POST'  '<service_url>service/query' -H 'Authorization: <service_token>' -H 'accept: application/json'  -H 'Content-Type: application/json'  -d '{"question": "What is PAI?"}'
       # Replace <service_url> and <service_token> with the service endpoint and service token that you obtained in Step 1.

       {"question":"What is PAI?" 、"temperature": 0.9} など、他の調整可能な推論パラメーターを追加できます。

   • マルチラウンド会話検索要求を開始する

     マルチラウンドの会話検索リクエストは、RAGおよびLLMクエリモードでのみ開始できます。 次のサンプルコードは、RAGクエリモードでマルチラウンド会話検索リクエストを開始する方法の例を示しています。

     # Send the request.  
     curl -X 'POST'  '<service_url>service/query' -H 'Authorization: <service_token>' -H 'accept: application/json'  -H 'Content-Type: application/json'  -d '{"question": "What is PAI?"}'
     
     # Provide the session ID returned for the request. This ID uniquely identifies a conversation in the conversation history. After the session ID is provided, the corresponding conversation is stored and is automatically included in subsequent requests to call an LLM. 
     curl -X 'POST'  '<service_url>service/query' -H 'Authorization: <service_token>' -H 'accept: application/json'  -H 'Content-Type: application/json'  -d '{"question": "What are the benefits of PAI?","session_id": "ed7a80e2e20442eab****"}'
     
     # Provide the chat_history parameter, which contains the conversation history between you and the chatbot. The parameter value is a list in which each element indicates a single round of conversation in the {"user":"Inputs","bot":"Outputs"} format. Multiple conversations are sorted in chronological order. 
     curl -X 'POST'  '<service_url>service/query' -H 'Authorization: <service_token>' -H 'accept: application/json'  -H 'Content-Type: application/json'  -d '{"question":"What are the features of PAI?", "chat_history": [{"user":"What is PAI", "bot":"PAI is an AI platform provided by Alibaba Cloud..."}]}'
     
     # If you provide both the session_id and chat_history parameters, the conversation history is appended to the conversation that corresponds to the specified session ID.  
     curl -X 'POST'  '<service_url>service/query' -H 'Authorization: <service_token>' -H 'accept: application/json'  -H 'Content-Type: application/json'  -d '{"question":"What are the features of PAI?", "chat_history": [{"user":"What is PAI", "bot":"PAI is an AI platform provided by Alibaba Cloud..."}], "session_id": "1702ffxxad3xxx6fxxx97daf7c"}'

   Pythonスクリプト

   • 次のサンプルコードは、単一ラウンドの会話検索リクエストを開始する方法の例を示しています。

     import requests
     
     EAS_URL = 'http://xxxx.****.cn-beijing.pai-eas.aliyuncs.com'
     headers = {
         'accept': 'application/json',
         'Content-Type': 'application/json',
         'Authorization': 'MDA5NmJkNzkyMGM1Zj****YzM4M2YwMDUzZTdiZmI5YzljYjZmNA==',
     }
     
     
     def test_post_api_query_llm():
         url = EAS_URL + '/service/query/llm'
         data = {
            "question":"What is PAI?"
         }
         response = requests.post(url, headers=headers, json=data)
     
         if response.status_code != 200:
             raise ValueError(f'Error post to {url}, code: {response.status_code}')
         ans = dict(response.json())
         print(f"======= Question =======\n {data['question']}")
         print(f"======= Answer =======\n {ans['answer']} \n\n")
     
     
     def test_post_api_query_retrieval():
         url = EAS_URL + '/service/query/retrieval'
         data = {
            "question":"What is PAI?"
         }
         response = requests.post(url, headers=headers, json=data)
     
         if response.status_code != 200:
             raise ValueError(f'Error post to {url}, code: {response.status_code}')
         ans = dict(response.json())
         print(f"======= Question =======\n {data['question']}")
         print(f"======= Answer =======\n {ans['docs']}\n\n")
     
     
     def test_post_api_query_rag():
         url = EAS_URL + '/service/query'
         data = {
            "question":"What is PAI?"
         }
         response = requests.post(url, headers=headers, json=data)
     
         if response.status_code != 200:
             raise ValueError(f'Error post to {url}, code: {response.status_code}')
         ans = dict(response.json())
         print(f"======= Question =======\n {data['question']}")
         print(f"======= Answer =======\n {ans['answer']}")
         print(f"======= Retrieved Docs =======\n {ans['docs']}\n\n")
     # LLM
     test_post_api_query_llm()
     # Retrieval
     test_post_api_query_retrieval()
     # RAG (Retrieval + LLM)
     test_post_api_query_rag()
     

     EAS_URLパラメーターをRAGベースのチャットボットのエンドポイントに設定します。 エンドポイントの末尾にあるスラッシュ (/) を削除してください。 [権限付与] パラメーターをRAGベースのチャットボットのトークンに設定します。

   • マルチラウンド会話検索要求を開始する

     マルチラウンド会話検索リクエストは、RAG (検索 + LLM) およびLLMクエリモードでのみ開始できます。 サンプルコード：

     import requests
     
     EAS_URL = 'http://xxxx.****.cn-beijing.pai-eas.aliyuncs.com'
     headers = {
         'accept': 'application/json',
         'Content-Type': 'application/json',
         'Authorization': 'MDA5NmJkN****jNlMDgzYzM4M2YwMDUzZTdiZmI5YzljYjZmNA==',
     }
     
     
     def test_post_api_query_llm_with_chat_history():
         url = EAS_URL + '/service/query/llm'
         # Round 1 query
         data = {
            "question":"What is PAI?"
         }
         response = requests.post(url, headers=headers, json=data)
     
         if response.status_code != 200:
             raise ValueError(f'Error post to {url}, code: {response.status_code}')
         ans = dict(response.json())
         print(f"=======Round 1: Question =======\n {data['question']}")
         print(f"=======Round 1: Answer =======\n {ans['answer']} session_id: {ans['session_id']} \n")
        
         # Round 2 query
         data_2 = {
            "question": "What are the benefits of PAI?",
            "session_id": ans['session_id']
         }
         response_2 = requests.post(url, headers=headers, json=data_2)
     
         if response.status_code != 200:
             raise ValueError(f'Error post to {url}, code: {response.status_code}')
         ans_2 = dict(response_2.json())
         print(f"=======Round 2: Question =======\n {data_2['question']}")
         print(f"=======Round 2: Answer =======\n {ans_2['answer']} session_id: {ans_2['session_id']} \n\n")
     
     
     def test_post_api_query_rag_with_chat_history():
         url = EAS_URL + '/service/query'
        
         # Round 1 query
         data = {
            "question":"What is PAI?"
         }
         response = requests.post(url, headers=headers, json=data)
     
         if response.status_code != 200:
             raise ValueError(f'Error post to {url}, code: {response.status_code}')
         ans = dict(response.json())
     
         print(f"=======Round 1: Question =======\n {data['question']}")
         print(f"=======Round 1: Answer =======\n {ans['answer']} session_id: {ans['session_id']}")
         print(f"=======Round 1: Retrieved Docs =======\n {ans['docs']}\n")
     
         # Round 2 query
         data = {
            "question":"What are the features of PAI?",
            "session_id": ans['session_id']
         }
         response = requests.post(url, headers=headers, json=data)
     
         if response.status_code != 200:
             raise ValueError(f'Error post to {url}, code: {response.status_code}')
         ans = dict(response.json())
     
         print(f"=======Round 2: Question =======\n {data['question']}")
         print(f"=======Round 2: Answer =======\n {ans['answer']} session_id: {ans['session_id']}")
         print(f"=======Round 2: Retrieved Docs =======\n {ans['docs']}")
     # LLM
     test_post_api_query_llm_with_chat_history()
     # RAG (Retrieval + LLM)
     test_post_api_query_rag_with_chat_history()
     

     EAS_URLパラメーターをRAGベースのチャットボットのエンドポイントに設定します。 エンドポイントの末尾にあるスラッシュ (/) を削除してください。 [権限付与] パラメーターをRAGベースのチャットボットのトークンに設定します。

関連ドキュメント

EASを使用して、次のアイテムを展開することもできます。

• web UIまたはAPI操作を使用して呼び出すことができるLLMアプリケーションをデプロイできます。 LLMアプリケーションのデプロイ後、LangChainフレームワークを使用してエンタープライズナレッジベースをLLMアプリケーションに統合し、インテリジェントなQ&Aおよび自動化機能を実装します。 詳細については、「EASでのLLMの迅速なデプロイ」をご参照ください。

• ComfyUIおよびStable video Diffusionモデルを使用して、AIビデオ生成モデルサービスをデプロイできます。 これにより、ソーシャルメディアプラットフォームでの短いビデオ生成やアニメーションなどのタスクを完了できます。 詳細については、「ComfyUIを使用したAIビデオ生成モデルサービスのデプロイ」をご参照ください。

よくある質問

RAGベースのチャットボットのチャット履歴機能を無効にするにはどうすればよいですか?

RAGベースのチャットボットのweb UIページで、[チャット履歴] を選択しないでください。