PAI新增了Flink全託管資源,您可以購買Flink全託管資源,並關聯到工作空間,用於PAI大規模分布式模型訓練。本文為您介紹如何開通購買Flink全託管資源以及如何使用該資源進行模型訓練。
Flink全託管資源
阿里雲Realtime ComputeFlink版是阿里雲基於Apache Flink構建的一站式即時巨量資料分析平台,提供端到端亞秒級即時資料分析能力,有關Flink全託管資源的詳細資料請參見Flink全託管資源概述。
前提條件
在開始執行操作之前,請確認您已經完成以下準備工作:
您已經擁有阿里雲帳號。如果您還沒有阿里雲帳號,請先完成註冊。
操作帳號和許可權要求
購買Flink全託管資源
登入PAI控制台
在左側導覽列單擊 ,在資源配額頁面中單擊Flink全託管資源。
可選:在Flink全託管資源頁面中,單擊去開通。
說明如果您首次使用Flink全託管資源,則需要執行該操作步驟,並參考開通Realtime ComputeFlink版購買Flink全託管資源。
如果您想購買更多Flink全託管資源,可以執行後續操作步驟。
在Flink全託管頁面中,單擊資源管理。
在Realtime Compute控制台頁面,單擊立即購買,關於如何購買Flink全託管資源,詳情請參見開通Realtime ComputeFlink版。
購買成功後,在Flink全託管資源頁面中,您可以看到購買成功的Flink全託管資源以及其他關鍵資訊。
關聯Flink全託管資源到工作空間
如果您需要在PAI中使用Flink全託管資源進行計算,您可以通過以下兩種方式將已購買的Flink全託管資源關聯到工作空間。
建立工作空間時,新增關聯資源群組。關於如何關聯資源群組,詳情請參見建立工作空間。
在已經建立完成的工作空間中添加Flink計算資源,具體操作如下所示。
登入PAI控制台。
在左側導覽列單擊工作空間列表。在工作空間列表頁面中單擊待操作的工作空間名稱,進入對應工作空間。
在工作空間詳情頁面右側,單擊資源管理,並按照介面操作指引關聯Flink全託管資源。具體操作,請參見管理工作空間計算資源。
在Designer中使用Flink全託管資源進行模型訓練
進入關聯了Flink全託管資源的工作空間,並在Designer頁面建立空白工作流程,詳情請參見建立自訂工作流程。
在畫布中拖入支援在Flink全託管資源上啟動並執行組件,包括:
Alink架構的所有組件(不包括Beta組件),組件上有紫色標識。
自訂演算法組件(PyAlink指令碼)。
在畫布右側工作流程屬性頁簽,從Alink/FlinkML演算法預設執行資源列表中選擇Flink。
重要如果Alink組件成組執行,您需要同時將Alink組執行資源類型切換到Flink,否則,執行的資源類型為Alink組的預設資源類型。關於如何設定Alink組資源類型,詳情請參見進階功能:Alink組件成組執行。
運行組件,支援以下幾種方式:
單獨運行依賴Flink全託管資源的組件,以運行PyAlink指令碼組件為例,詳情請參見PyAlink指令碼。
依賴Flink全託管資源的組件和依賴其他資源類型的組件串聯使用。以基於Alink架構的FM推薦為例,FM訓練和FM預測組件依賴Flink全託管資源,二分類評估組件依賴MaxCompute計算資源。
批量運行依賴Flink全託管資源的組件,詳情請參見進階功能:Alink組件成組執行。
組件運行完成後,按右鍵工作流程中的組件,在捷徑功能表中,單擊查看日誌。
您也可以在日誌框中單擊vvp日誌連結,查看更詳細的計算資訊。