Platform For AI：大模型RAG對話系統

背景資訊

前提條件

• 已建立一個Virtual Private Cloud、交換器和安全性群組。詳情請參見建立和管理專用網路和建立安全性群組。

  說明

  使用Faiss作為向量檢索庫時，不需要建立VPC、交換器和安全性群組。

• 當使用微調模型部署服務時，您需要準備OSS儲存空間（Bucket）或NAS檔案系統，用來存放微調的模型檔案。具體操作，請參見控制台快速入門或建立檔案系統。

  說明

  使用Faiss作為向量檢索庫時，需要準備OSS儲存空間（Bucket）。

使用限制

向量檢索庫和EAS必須在相同地區下。

注意事項

本實踐受制於LLM服務的最大Token數量限制，旨在協助您體驗RAG對話系統的基本檢索功能：

• 該對話系統受制於LLM服務的伺服器資源大小以及預設Token數量限制，能支援的對話長度有限。

• 如果無需進行多輪對話，建議您關閉RAG服務的with chat history功能，這樣能有效減少達到限制的可能性。詳情請參見如何關閉RAG服務的with chat history功能。

步驟一：準備向量檢索庫

RAG支援通過Faiss（Facebook AI Similarity Search）、Elasticsearch、Hologres、OpenSearch或RDS PostgreSQL構建向量檢索庫。您需要擷取相關配置參數，以便後續串連向量檢索庫。

步驟二：部署RAG服務

1. 進入模型線上服務頁面。

   1. 登入PAI控制台。

   2. 在左側導覽列單擊工作空間列表，在工作空間列表頁面中單擊待操作的工作空間名稱，進入對應工作空間內。

   3. 在工作空間頁面的左側導覽列選擇模型部署>模型線上服務（EAS），進入模型線上服務（EAS）頁面。

2. 在模型線上服務頁面，單擊部署服務，在情境化模型部署地區，單擊大模型RAG對話系統部署。

3. 在部署大模型RAG對話系統頁面，配置以下關鍵參數。

   • 基本資料

     參數	描述
     服務名稱	自訂服務名稱。
     模型來源	支援使用開源公用模型或自持微調模型。
     模型類別	根據您的使用情境，選擇模型類型。 使用自持微調模型時，您需配置相應模型的參數量和精度。
     模型配置	使用自持微調模型時，您需配置微調模型的檔案路徑。支援以下兩種配置方法： 說明 確保使用的模型檔案格式與HuggingFace Transformers相容。 按Object Storage Service：請選擇微調模型檔案所在的OSS路徑。 按Apsara File Storage NAS：請選擇微調模型檔案所在的NAS檔案系統和NAS源路徑。

   • 資源配置

     參數	描述
     資源配置選擇	當使用開源公用模型時，系統會根據選定的模型類別自動推薦適合的執行個體規格，預設選中。 當使用自持微調模型時，請選擇與目標模型相匹配的執行個體規格，詳情請參見如何切換其他的開源大模型。
     推理加速	目前，部署在A10或GU30系列機型上的Qwen、Llama2、ChatGLM或Baichuan2等系列模型服務，支援啟用推理加速功能。支援以下兩種加速類型： PAI-BladeLLM自動推理加速：BladeLLM提供超高性價比的大模型推理加速能力，可協助您一鍵享受高並發和低延時的技術優勢。 開源架構vllm推理加速

   • 向量檢索庫設定

     根據您的情境需要，任意選擇一種版本類型，作為向量檢索庫。

     FAISS

     參數	描述
     版本類型	選擇FAISS。
     OSS地址	選擇當前地區下已建立的OSS儲存路徑。如果沒有可選的儲存路徑，您可以參考控制台快速入門進行建立。

     Elasticsearch

     參數	描述
     版本類型	選擇Elasticsearch。
     私網地址/連接埠	配置為步驟一中擷取的私網地址和連接埠，格式為：http://私網地址:連接埠。
     索引名稱	輸入新的索引名稱或已存在的索引名稱。對於已存在的索引名稱，索引結構應符合PAI-RAG要求，例如可以填寫之前通過EAS部署RAG服務時自動建立的索引。
     帳號	配置為步驟一中建立Elasticsearch執行個體時配置的登入名稱。
     密碼	配置為步驟一中建立Elasticsearch執行個體時配置的登入密碼。

     Hologres

     參數	描述
     版本類型	選擇Hologres。
     調用資訊	配置為步驟一中查詢到的Hologres調用資訊。
     資料庫名稱	配置為步驟一中建立的資料庫名稱。
     帳號	配置為步驟一中建立的自訂使用者的帳號。
     密碼	配置為步驟一中建立的自訂使用者的密碼。
     表名稱	輸入新的表名稱或已存在的表名稱。對於已存在的表名稱，表結構應符合PAI-RAG要求，例如可以填寫之前通過EAS部署RAG服務自動建立的Hologres表。

     OpenSearch

     參數	描述
     訪問地址	配置為步驟一中查詢的公網訪問地址。
     執行個體id	配置為步驟一中已建立的OpenSearch向量檢索版執行個體ID。
     使用者名稱	配置為步驟一中建立OpenSearch向量檢索版執行個體時，輸入的使用者名稱和密碼。
     密碼
     表名稱	配置為步驟一中配置OpenSearch向量檢索版執行個體時建立的索引表名稱。

     RDS PostgreSQL

     參數	描述
     主機地址	配置為步驟一中查詢到內網地址或外網地址。
     連接埠	預設為5432，請根據實際情況填寫。
     資料庫	配置為步驟一中已建立的資料庫名稱。
     表名稱	自訂設定資料庫名稱。
     帳號	配置為步驟一中建立的高許可權帳號。
     密碼	配置為步驟一中建立的高許可權帳號的密碼。

   • 專用網路配置

     參數	描述
     VPC	當選擇Hologres、Elasticsearch、OpenSearch或RDS PostgreSQL作為向量檢索庫時，請確保所配置的專用網路與選定的向量檢索庫保持一致。 說明 使用OpenSearch作為向量檢索庫時，此處可以使用其他專用網路，但需要確保該專用網路具有公網訪問能力，並將綁定的Elastic IP Address添加為OpenSearch執行個體的公網訪問白名單。具體操作，請參見使用公網NAT GatewaySNAT功能訪問互連網和公網白名單配置。 當選擇Faiss作為向量檢索庫時，無需配置專用網路。
     交換器
     安全性群組名稱

4. 單擊部署。

   當服務狀態變為運行中時，表示服務部署成功。

步驟三：通過WebUI頁面進行模型推理驗證

您可以先在WebUI頁面，參考以下操作步驟對服務進行調試。當您在WebUI頁面調試好問答效果後，可以基於PAI提供的API將其應用到您自己的業務系統中，詳情請參見步驟四：通過API調用進行模型推理驗證。

1、配置RAG對話系統

1. RAG服務部署成功後，單擊服務方式列下的查看Web應用，啟動WebUI頁面。

2. 配置機器學習模型。

   • Embedding Model Name：系統內建四種模型供您選擇，將自動為您配置最合適的模型。

   • Embedding Dimension：選擇Embedding Model Name後，系統會自動進行配置，無需手動操作。

3. 測試向量檢索庫串連是否正常。

   系統已自動識別並應用了部署服務時配置的向量檢索庫設定，並且該設定不支援修改。以Hologres為例，您可以單擊Connect Hologres，來驗證Hologres串連是否正常。

2、上傳指定的業務資料檔案

3、配置模型推理參數

4、模型推理驗證

步驟四：通過API調用進行模型推理驗證

1. 擷取RAG服務的調用資訊。

   1. 單擊RAG服務名稱，進入服務詳情頁面。

   2. 在基本資料地區，單擊查看調用資訊。

   3. 在調用資訊對話方塊的公網地址調用頁簽，擷取服務訪問地址和Token。

2. 通過WebUI頁面串連向量資料庫，並上傳業務資料檔案。具體操作，請參見1、配置RAG對話系統和2、上傳指定的業務資料檔案。

3. 通過API調用服務。

   PAI提供了三種調用API的對話方式：service/query/retrieval（Retrieval）、service/query/llm（LLM）和service/query（RAG）。具體調用方法如下：

   curl 命令

   • 發送單輪對話請求

     • 方式一：service/query/retrieval（Retrieval）

       curl -X 'POST'  '<service_url>service/query/retrieval' -H 'Authorization: <service_token>' -H 'accept: application/json' -H 'Content-Type: application/json'  -d '{"question": "什麼是人工智慧平台PAI?"}'
       # <service_url>替換為步驟1擷取的服務訪問地址；<service_token>替換為步驟1擷取的服務Token。

     • 方式二：/service/query/llm（LLM）

       curl -X 'POST'  '<service_url>service/query/llm' -H 'Authorization: <service_token>' -H 'accept: application/json'  -H 'Content-Type: application/json'  -d '{"question": "什麼是人工智慧平台PAI?"}'
       # <service_url>替換為步驟1擷取的服務訪問地址；<service_token>替換為步驟1擷取的服務Token。

       支援添加其他可調推理參數，例如{"question":"什麼是人工智慧平台PAI?", "temperature": 0.9}。

     • 方式三：service/query（RAG）

       curl -X 'POST'  '<service_url>service/query' -H 'Authorization: <service_token>' -H 'accept: application/json'  -H 'Content-Type: application/json'  -d '{"question": "什麼是人工智慧平台PAI?"}'
       # <service_url>替換為步驟1擷取的服務訪問地址；<service_token>替換為步驟1擷取的服務Token。

       支援添加其他可調推理參數，例如{"question":"什麼是人工智慧平台PAI?", "temperature": 0.9}。

   • 發送多輪對話請求

     其中對話方式RAG和LLM支援發送多輪對話請求，以RAG對話為例，具體配置方法如下：

     # 發送請求。 
     curl -X 'POST'  '<service_url>service/query' -H 'Authorization: <service_token>' -H 'accept: application/json'  -H 'Content-Type: application/json'  -d '{"question": "什麼是人工智慧平台PAI?"}'
     
     # 傳入上述請求返回的session_id（對話歷史會話唯一標識），傳入session_id後，將對話歷史進行記錄，調用大模型將自動攜帶儲存的對話歷史。
     curl -X 'POST'  '<service_url>service/query' -H 'Authorization: <service_token>' -H 'accept: application/json'  -H 'Content-Type: application/json'  -d '{"question": "它有什麼優勢?","session_id": "ed7a80e2e20442eab****"}'
     
     # 傳入chat_history（使用者與模型的對話歷史），list中的每個元素是形式為{"user":"使用者輸入","bot":"模型輸出"}的一輪對話，多輪對話按時間順序排列。
     curl -X 'POST'  '<service_url>service/query' -H 'Authorization: <service_token>' -H 'accept: application/json'  -H 'Content-Type: application/json'  -d '{"question":"它有哪些功能？", "chat_history": [{"user":"PAI是什嗎？", "bot":"PAI是阿里雲的人工智慧平台......"}]}'
     
     # 同時傳入session_id和chat_history，會用chat_history對儲存的session_id所對應的對話歷史進行追加更新。 
     curl -X 'POST'  '<service_url>service/query' -H 'Authorization: <service_token>' -H 'accept: application/json'  -H 'Content-Type: application/json'  -d '{"question":"它有哪些功能？", "chat_history": [{"user":"PAI是什嗎？", "bot":"PAI是阿里雲的人工智慧平台......"}], "session_id": "1702ffxxad3xxx6fxxx97daf7c"}'

   Python指令碼

   • 發送單輪對話請求，程式碼範例如下：

     import requests
     
     EAS_URL = 'http://xxxx.****.cn-beijing.pai-eas.aliyuncs.com'
     headers = {
         'accept': 'application/json',
         'Content-Type': 'application/json',
         'Authorization': 'MDA5NmJkNzkyMGM1Zj****YzM4M2YwMDUzZTdiZmI5YzljYjZmNA==',
     }
     
     
     def test_post_api_query_llm():
         url = EAS_URL + '/service/query/llm'
         data = {
            "question":"什麼是人工智慧平台PAI?"
         }
         response = requests.post(url, headers=headers, json=data)
     
         if response.status_code != 200:
             raise ValueError(f'Error post to {url}, code: {response.status_code}')
         ans = dict(response.json())
         print(f"======= Question =======\n {data['question']}")
         print(f"======= Answer =======\n {ans['answer']} \n\n")
     
     
     def test_post_api_query_retrieval():
         url = EAS_URL + '/service/query/retrieval'
         data = {
            "question":"什麼是人工智慧平台PAI?"
         }
         response = requests.post(url, headers=headers, json=data)
     
         if response.status_code != 200:
             raise ValueError(f'Error post to {url}, code: {response.status_code}')
         ans = dict(response.json())
         print(f"======= Question =======\n {data['question']}")
         print(f"======= Answer =======\n {ans['docs']}\n\n")
     
     
     def test_post_api_query_rag():
         url = EAS_URL + '/service/query'
         data = {
            "question":"什麼是人工智慧平台PAI?"
         }
         response = requests.post(url, headers=headers, json=data)
     
         if response.status_code != 200:
             raise ValueError(f'Error post to {url}, code: {response.status_code}')
         ans = dict(response.json())
         print(f"======= Question =======\n {data['question']}")
         print(f"======= Answer =======\n {ans['answer']}")
         print(f"======= Retrieved Docs =======\n {ans['docs']}\n\n")
     # LLM
     test_post_api_query_llm()
     # Retrieval
     test_post_api_query_retrieval()
     # RAG（Retrieval+LLM）
     test_post_api_query_rag()
     

     其中：EAS_URL配置為RAG服務的訪問地址，您需要將訪問地址末尾的/刪除；Authorization配置為RAG服務的Token。

   • 發送多輪對話請求

     LLM和RAG（Retrieval+LLM）支援發送多輪對話請求，程式碼範例如下：

     import requests
     
     EAS_URL = 'http://xxxx.****.cn-beijing.pai-eas.aliyuncs.com'
     headers = {
         'accept': 'application/json',
         'Content-Type': 'application/json',
         'Authorization': 'MDA5NmJkN****jNlMDgzYzM4M2YwMDUzZTdiZmI5YzljYjZmNA==',
     }
     
     
     def test_post_api_query_llm_with_chat_history():
         url = EAS_URL + '/service/query/llm'
         # Round 1 query
         data = {
            "question":"什麼是人工智慧平台PAI?"
         }
         response = requests.post(url, headers=headers, json=data)
     
         if response.status_code != 200:
             raise ValueError(f'Error post to {url}, code: {response.status_code}')
         ans = dict(response.json())
         print(f"=======Round 1: Question =======\n {data['question']}")
         print(f"=======Round 1: Answer =======\n {ans['answer']} session_id: {ans['session_id']} \n")
        
         # Round 2 query
         data_2 = {
            "question": "它有什麼優勢？",
            "session_id": ans['session_id']
         }
         response_2 = requests.post(url, headers=headers, json=data_2)
     
         if response.status_code != 200:
             raise ValueError(f'Error post to {url}, code: {response.status_code}')
         ans_2 = dict(response_2.json())
         print(f"=======Round 2: Question =======\n {data_2['question']}")
         print(f"=======Round 2: Answer =======\n {ans_2['answer']} session_id: {ans_2['session_id']} \n\n")
     
     
     def test_post_api_query_rag_with_chat_history():
         url = EAS_URL + '/service/query'
        
         # Round 1 query
         data = {
            "question":"什麼是人工智慧平台PAI?"
         }
         response = requests.post(url, headers=headers, json=data)
     
         if response.status_code != 200:
             raise ValueError(f'Error post to {url}, code: {response.status_code}')
         ans = dict(response.json())
     
         print(f"=======Round 1: Question =======\n {data['question']}")
         print(f"=======Round 1: Answer =======\n {ans['answer']} session_id: {ans['session_id']}")
         print(f"=======Round 1: Retrieved Docs =======\n {ans['docs']}\n")
     
         # Round 2 query
         data = {
            "question":"它可以做什嗎？",
            "session_id": ans['session_id']
         }
         response = requests.post(url, headers=headers, json=data)
     
         if response.status_code != 200:
             raise ValueError(f'Error post to {url}, code: {response.status_code}')
         ans = dict(response.json())
     
         print(f"=======Round 2: Question =======\n {data['question']}")
         print(f"=======Round 2: Answer =======\n {ans['answer']} session_id: {ans['session_id']}")
         print(f"=======Round 2: Retrieved Docs =======\n {ans['docs']}")
     # LLM
     test_post_api_query_llm_with_chat_history()
     # RAG（Retrieval+LLM）
     test_post_api_query_rag_with_chat_history()
     

     其中：EAS_URL配置為RAG服務的訪問地址，您需要將訪問地址末尾的/刪除；Authorization配置為RAG服務的Token。

相關文檔

通過EAS，您還可以完成以下情境化部署：

• 部署支援WebUI和API調用的LLM大語言模型，並在部署LLM應用後，利用LangChain框架組成企業知識庫，實現智能問答和自動化功能。詳情請參見5分鐘使用EAS一鍵部署LLM大語言模型應用。

• 部署基於ComfyUI和Stable Video Diffusion模型的AI視頻產生服務，協助您完成社交平台短視頻內容產生、動畫製作等任務。詳情請參見AI視頻產生-ComfyUI部署。

常見問題

如何關閉RAG服務的with chat history功能

在RAG服務的WebUI頁面中，去勾選Chat history複選框。