LLM資料處理演算法提供了對資料樣本進行編輯和轉換、過濾低品質樣本、識別和重複資料刪除樣本等功能。您可以根據實際需求組合不同的演算法，從而過濾出合適的資料並產生符合要求的文本，方便為後續的LLM訓練提供優質的資料。本文以開源Alpaca-Cot中的少量資料為例，為您介紹如何使用PAI提供的大模型資料處理組件，對SFT資料進行資料清洗和處理。
資料集說明
本文Designer中“LLM大語言模型資料處理-Alpaca-Cot（sft資料）”預置模板用的資料集為開源專案Alpaca-CoT的未經處理資料中抽取的5000個樣本資料。
建立並運行工作流程
進入Designer頁面。
登入PAI控制台。
在頂部左上方根據實際情況選擇地區。
在左側導覽列選擇工作空間列表，單擊指定工作空間名稱，進入對應工作空間。
在左側導覽列選擇模型開發與訓練 > 可視化建模（Designer），進入Designer頁面。
建立工作流程。
在預置模板頁簽下，選擇業務領域 > LLM 大語言模型，單擊LLM大語言模型資料處理-Alpaca-Cot (sft資料）模板卡片上的建立。
配置工作流程參數（或保持預設），單擊確定。
在工作流程列表，選擇已建立的工作流程，單擊進入工作流程。
工作流程說明：
工作流程中關鍵演算法組件說明：
LLM-MD5去重（MaxCompute）-1
計算“text”欄位文本雜湊值，並去除重複的文本（雜湊值相同的文本僅保留一個）。
LLM-計數過濾（MaxCompute）-1
將“text”欄位中不符合數字和字母字元個數或佔比的樣本去除。SFT資料集中大部分字元都由字母和數字組成，通過該組件可以去除部分髒資料。
LLM-N-Gram重複比率過濾（MaxCompute）-1
根據“text”欄位的字元級N-Gram重複比率進行樣本過濾，即將文本裡的內容按照字元進行大小為N的滑動視窗操作，形成了長度為N的片段序列。每一個片段稱為gram，對所有gram的出現次數進行統計。最後統計
頻次大於1的gram的頻次總和 / 所有gram的頻次總和兩者比率作為重複比率進行樣本過濾。LLM-敏感詞過濾（MaxCompute）-1
使用系統預置敏感詞檔案過濾“text”欄位中包含敏感詞的樣本。
LLM-長度過濾（MaxCompute）-1
根據“text”欄位的長度和對應最大行長度進行樣本過濾。最大行長度基於分行符號
\n分割樣本。LLM-文章相似性去重（MaxCompute）-1
根據設定的Jaccard相似性和Levenshtein距離閾值去除相似的樣本。
運行工作流程。
運行結束後，按右鍵寫資料表-1組件，選擇查看資料 > 輸出，查看經過上述所有組件處理後的樣本。
相關參考
LLM演算法組件詳細說明，請參見LLM資料處理（MaxCompute）。
在完成資料處理後，您可以使用PAI平台提供的一系列大模型組件（包括資料處理組件、訓練組件以及推理組件），來實現大模型從開發到使用的端到端流程。詳情請參見LLM大語言模型端到端鏈路：資料處理+模型訓練+模型推理。