Platform For AI：LLM大語言模型端到端鏈路：資料處理+模型訓練+模型推理

前提條件

• 已建立工作空間，詳情請參見建立工作空間。

• 已將MaxCompute資源和通用計算資源關聯到工作空間，詳情請參見管理工作空間。

資料集

輸入的訓練資料需遵循問答對格式，包含以下兩個欄位：

• instruction：問題欄位。

• output：答案欄位。

如果您的資料欄位名不符合要求，可以提前通過自訂SQL指令碼等方式進行預先處理。如果您的資料直接來自互連網，可能存在資料冗餘或髒資料，可以利用LLM資料預先處理組件進行初步清洗和整理。具體操作，請參見LLM大語言模型資料處理 - github code。

使用流程

1. 進入Designer頁面。

   1. 登入PAI控制台。

   2. 在左側導覽列單擊工作空間列表，在工作空間列表頁面中單擊待操作的工作空間名稱，進入對應的工作空間。

   3. 在工作空間頁面的左側導覽列選擇模型開發與訓練 > 可視化建模（Designer），進入Designer頁面。

2. 構建工作流程。

   1. 在Designer頁面，單擊預置模板頁簽。

   2. 在LLM大語言模型頁簽的LLM大語言模型端到端鏈路：資料處理+模型訓練+模型推理地區中，單擊建立。

   3. 在建立工作流程對話方塊中，配置參數（可以全部使用預設參數），然後單擊確定。

      其中：工作流程資料存放區配置為OSS Bucket路徑，用於儲存工作流程運行中產出的臨時資料和模型。

   4. 在工作流程列表中，雙擊目標工作流程，進入工作流程。

   5. 系統根據預置的模板，自動構建工作流程，如下圖所示。

      地區	描述
      ①	進行簡單的資料預先處理，僅供端到端鏈路示範使用。更詳細的資料預先處理流程，請參見LLM大語言模型資料處理 - github code。
      ②	進行模型訓練和離線推理。其中： LLM模型訓練組件 該組件封裝了快速開始（QuickStart）提供的LLM模型，底層計算基於DLC容器任務。單擊該組件，在右側的欄位設定頁簽可以選擇模型名稱。該組件支援多種主流的LLM模型，在本工作流程中，選擇使用qwen-7b-chat模型進行樣本訓練。 LLM模型離線推理組件 使用該組件進行離線推理。在本工作流程中，選擇使用qwen-7b-chat模型進行離線批量推理。

3. 單擊畫布上方的運行按鈕，運行工作流程。

4. 工作流程成功運行後，按右鍵LLM模型離線推理-1組件，在捷徑功能表中選擇查看資料 > 推理結果儲存目錄（OSS），查看推理結果。

後續步驟

您還可以使用經過相同前置處理過的資料，同時針對多個模型進行訓練和推理。例如，構建如下工作流程來並行地對qwen-7b-chat和llama2-7b-chat兩個模型進行微調，然後使用同一批測試資料來比較它們推理後產生的結果。