LLM資料處理演算法提供了對資料樣本進行編輯和轉換、過濾低品質樣本、識別和重複資料刪除樣本等功能。您可以根據實際需求組合不同的演算法，從而過濾出合適的資料並產生符合要求的文本，方便為後續的LLM訓練提供優質的資料。本文以開源Alpaca-Cot中的少量資料為例，為您介紹如何使用PAI提供的大模型資料處理組件，對SFT資料進行資料清洗和處理。
資料集說明
本文Designer中“LLM大語言模型資料處理-Alpaca-Cot（sft資料）-DLC組件”預置模板用的資料集為開源專案Alpaca-CoT的未經處理資料中抽取的5000個樣本資料。
建立並運行工作流程
進入Designer頁面。
登入PAI控制台。
在頂部左上方根據實際情況選擇地區。
在左側導覽列選擇工作空間列表，單擊指定工作空間名稱，進入對應工作空間。
在左側導覽列選擇模型開發與訓練 > 可視化建模（Designer），進入Designer頁面。
建立工作流程。
在預置模板頁簽下，選擇業務領域 > LLM 大語言模型，單擊LLM大語言模型資料處理-Alpaca-Cot (sft資料）- DLC組件模板卡片上的建立。
配置工作流程參數（或保持預設），單擊確定。
在工作流程列表，選擇已建立的工作流程，單擊進入工作流程。
工作流程說明：
工作流程中關鍵演算法組件說明：
LLM-MD5去重（DLC）-1
計算“text”欄位文本雜湊值，並去除重複的文本（雜湊值相同的文本僅保留一個）。
LLM-計數過濾（DLC）-1
將“text”欄位中不符合數字和字母字元佔比的樣本去除。SFT資料集中大部分字元都由字母和數字組成，通過該組件可以去除部分髒資料。
LLM-N-Gram重複比率過濾（DLC）-1
根據“text”欄位的字元級N-Gram重複比率進行樣本過濾，即將文本裡的內容按照字元進行大小為N的滑動視窗操作，形成了長度為N的片段序列。每一個片段稱為gram，對所有gram的出現次數進行統計。最後統計
頻次大於1的gram的頻次總和 / 所有gram的頻次總和兩者比率作為重複比率進行樣本過濾。LLM-敏感詞過濾（DLC）-1
使用系統預置敏感詞檔案過濾“text”欄位中包含敏感詞的樣本。
LLM-長度過濾（DLC）-1
根據“text”欄位的長度和對應最大行長度進行樣本過濾。最大行長度基於分行符號
\n分割樣本。LLM-文章相似性去重（DLC）-1
根據設定的window_size、num_blocks和hamming_distance值去除相似的樣本。
運行工作流程。
運行結束後，按右鍵LLM-文章相似性去重（DLC）-1組件，選擇查看資料 > 輸出資料（OSS），查看經過上述所有組件處理後的樣本檔案。
相關參考
LLM演算法組件詳細說明，請參見LLM資料處理（DLC）。
在完成資料處理後，您可以使用PAI平台提供的一系列大模型組件（包括資料處理組件、訓練組件以及推理組件），來實現大模型從開發到使用的端到端流程。詳情請參見LLM大語言模型端到端鏈路-DLC組件：資料處理+模型訓練+模型推理。