為了提升實驗運行效率,Designer支援將畫布中的多個Alink節點合并為組,進行批量執行。同時,Designer提供Alink智能彙總工具,可以自動檢測畫布中可以成組啟動並執行Alink節點。
背景資訊
Alink是阿里雲PAI團隊基於Realtime ComputeFlink研發的新一代機器學習演算法架構及組件庫。在Designer中會上線Alink流式和批式演算法組件,從而支援開發人員基於Flink引擎進行資料預先處理、特徵工程、模型訓練、模型預測的機器學習全流程。
Alink組件成組
Alink組件與其他架構的組件在基礎使用上沒有差別。此外,基於Flink在記憶體中進行資料交換的高效能執行方式,Designer提供了Alink節點群組合的批量執行方式,即Alink組件成組執行。
您可以通過Group概念自由組織已經拖入畫布中的Alink組件。具體操作方式如下:
在Designer的畫布上選擇多個Alink節點。
您可以通過Shift+滑鼠左鍵,或畫布上方的框選工具選擇多個Alink節點。
單擊滑鼠右鍵,在彈出的捷徑功能表中,單擊選中節點Alink成組。
畫布中成組的Alink節點會通過虛線圓角矩形框顯示為一組,如下圖所示。
對於Alink組,您可以單擊右上方的表徵圖,為其設定啟動並執行Worker數量和每個Worker佔用的記憶體。Alink組的配置優先順序高於Alink組中每個Alink節點的單獨配置。成組後的Alink節點會批量執行,中間資料不落盤,從而提升執行效率及資源使用率。
Alink智能彙總
Alink智能彙總是指系統自動檢測畫布中可以成組啟動並執行Alink節點,並將其成組,以減少中間資料轉送開銷,提升資源利用效率,協助您在實驗運行時提升執行效率。
Designer畫布上方的工具列中,提供Alink智能彙總工具,您可以快速開啟Alink智能彙總功能。