Designer提供了豐富的建模組件,您可以使用工作流程,可視化的靈活構建模型、調試模型並周期性地調度模型,以完成模型訓練。本文為您介紹使用Designer訓練模型的具體操作步驟。
前提條件
背景資訊
模型訓練的操作步驟如下:
步驟一:構建模型
空白工作流程構建模型
使用空白工作流程進行建模時,建議您參考以下流程規劃構建模型,您也可以前往快速入門,快速體驗建模的流程,熟悉操作介面。
規劃模型節點。
通常一個模型可以拆分為多個細分的節點任務,通過節點任務的前後編排來最終實現模型預期效果。因此,在建模之前,建議您先拆分模型並規劃好細分的節點任務。通常建議一個節點完成一個最簡單的任務。
根據規劃,拖入並配置對應的組件。
在左側的組件庫中,您可以根據規劃找到合適的組件,將其拖入畫布中作為一個節點。通過單擊節點,在右側的配置框中配置節點所需的參數,即可完成節點的配置。
Designer為您提供百餘種組件,滿足讀取資料、統計分析、文本分析等多種情境的使用,組件詳情請參見組件參考:所有組件匯總。
在節點配置過程中,如果有多個節點都需要使用的一些全域參數,您可以使用全域變數來提高節點配置效率,詳情請參見進階功能:全域變數。
通過連線將節點群組織構建成模型工作流程。
拖入多個組件後,畫布中即有多個節點。您可以根據規劃通過連線將各個節點群組織成有上下遊關係的工作流程。後續模型實際運行時,上遊節點會先運行,所有上遊節點均運行完成後,下遊節點會被觸發運行。
模板工作流程構建模型
使用模板工作流程進行建模時,支援使用以下幾類模板:
Designer裡已經內建了數十個基於不同架構、滿足不同行業情境需求的模板,具體分類如下,您可以根據業務需求,自行選擇工作流程範本。
按照行業類型分為:互連網、工業、金融、教育、醫學和科研類型。
按照演算法類別和架構分為:分類、迴歸、聚類、TF架構和PyTorch架構。
按照業務領域分為:推薦、風控、使用者增長、CV、NLP、模型最佳化、ASR和視頻領域。
根據業務情境,新增或修改工作流程節點,修改組件參數。
從左側組件庫中拖入新的組件到右側畫布中,您可以替換工作流程中的節點,也可以將元件連線到已有組件的下遊。
使用組件預設參數或單擊組件,在右側的配置框中配置組件所需的參數。
步驟二:調試模型
建模完成後,您可以對工作流程節點進行調試。
調試模型整體
所有節點均配置完成、連線完成後,您可以在畫布中單擊運行按鈕,對整個模型進行試運行。
調試單個節點
調試過程中,您也可以直接按右鍵某個節點,選擇直接從此處開始執行、執行該節點等運行調試範圍,提高調試效率。
運行失敗定位
如果某節點運行失敗,您可以按右鍵該節點查看日誌等資訊進行排查處理。
查看運行結果
運行成功後,您可以按右鍵節點查看產出資料。
查看歷史任務
建模過程中,您的每次運行都會被記錄為一次歷史任務。每次運行涉及的節點範圍、節點的配置情況、產出結果均會保留在歷史任務中。您可以單擊工具列右側的全部任務查看,來查看所有歷史任務的調試詳情。
在歷史任務對話方塊中,單擊某個歷史任務操作列下的詳情,頁面將跳轉至任務管理中對應歷史任務的詳情頁面。
您可以在頂部單擊任務詳情和任務結果切換查看對應的詳細資料。
在任務詳情頁面中,畫布展示當前歷史任務參與啟動並執行節點和運行詳細資料。單擊某個節點後,您可以在右側詳情中查看本次運行中此節點的運行資訊、任務日誌和輸出結果。
單擊某個歷史任務操作列的版本復原,您可以根據介面提示,將模型工作流程復原恢複至歷史運行時的狀態。
說明建議復原之前,查看歷史任務的詳情,確認復原的版本是否正確。同時,復原前建議將最新的任務儲存並運行一次。如果復原後出錯,您可以再次復原至最新的任務狀態。
相關文檔
模型調試完成後,您可以將已訓練好的模型註冊為一個新的模型並進行管理,詳情請參見註冊及管理模型。
模型調試完成後,您可以使用模型進行新資料的預測,詳情請參見模型預測概述。
在Designer畫布中,您可以拖入EAS服務元件,連線指定節點的上下遊關係,更新已部署的線上服務,詳情請參見線上模型服務定時自動更新。
您可以通過調度配置,來指定工作流程後續是否需要周期性自動運行,詳情請參見使用DataWorks離線調度Designer工作流程。