LVM影像處理演算法提供了映像清洗、映像內容清理、映像基本資料的提取、映像caption產生的功能。您可以根據實際需求組合不同的演算法,從而過濾出合適的映像資料並產生相應的文本描述,方便為後續的映像產生模型訓練提供優質的映像資料。本文為您介紹Designer中映像-文本對過濾預置模板的使用說明。
使用限制
映像-文本對過濾預置模板僅支援華東1(杭州)、華東2(上海)、華北2(北京)、華南1(深圳)地區使用。
準備映像資料
PAI為您提供樣本資料可作參考:
下載映像中繼資料檔案和影像檔。
映像中繼資料檔案:image_meta.jsonl,可作為映像文本演算法輸入項。
影像檔:data.zip,可作為一般影像處理演算法的輸入項。
解壓並上傳影像檔至OSS。具體操作,請參見簡單上傳至OSS。
修改映像中繼資料檔案。
將映像中繼資料檔案中的欄位
your_oss_path
替換為上傳圖片的OSS Bucket目錄。例如,將圖片上傳至OSS Bucket的image_algorithm_test/image_data目錄下,則your_oss_path
需替換成image_algorithm_test/image_data
。上傳映像中繼資料檔案至步驟 2同一OSS Bucket中。具體操作,請參見簡單上傳至OSS。
建立並運行工作流程
進入Designer頁面。
登入PAI控制台。
在頂部左上方根據實際情況選擇地區。
在左側導覽列選擇工作空間列表,單擊指定工作空間名稱,進入對應工作空間。
在左側導覽列選擇模型開發與訓練 > 可視化建模(Designer),進入Designer頁面。
建立工作流程。
在預置模板頁簽下,選擇業務領域 > 多模態大模型,單擊映像-文本對過濾模板卡片上的建立。
配置工作流程參數(或保持預設),單擊確定。
在工作流程列表,選擇已建立的工作流程,單擊進入工作流程。
配置工作流程。
分別配置LVM映像預先處理演算法組件,詳情請參見映像預先處理運算元。
運行工作流程。運行結束後,查看產生的檔案:
meta.jsonl檔案:運行時會在映像資料OSS路徑的上一級目錄下產生映像中繼資料檔案meta.jsonl。
結果檔案:在輸出檔案的OSS路徑中查看結果檔案。
關於結果檔案詳細說明,請參見映像預先處理運算元中輸出檔案的OSS路徑參數介紹。