全部產品
Search
文件中心

Platform For AI:Flink全託管資源管理

更新時間:Aug 28, 2024

PAI新增了Flink全託管資源,您可以購買Flink全託管資源,並關聯到工作空間,用於PAI大規模分布式模型訓練。本文為您介紹如何開通購買Flink全託管資源以及如何使用該資源進行模型訓練。

Flink全託管資源

阿里雲Realtime ComputeFlink版是阿里雲基於Apache Flink構建的一站式即時巨量資料分析平台,提供端到端亞秒級即時資料分析能力,有關Flink全託管資源的詳細資料請參見Flink全託管資源概述

前提條件

在開始執行操作之前,請確認您已經完成以下準備工作:

  • 您已經擁有阿里雲帳號。如果您還沒有阿里雲帳號,請先完成註冊。

操作帳號和許可權要求

  • 阿里雲主帳號(推薦):使用該帳號可完成所有操作,無需額外授權。

  • RAM使用者:

    • 購買Flink全託管資源,需要為該RAM使用者授予AliyunStreamFullAccess許可權,詳情請參見RAM授權

    • 提交訓練任務到Flink全託管資源,您需要在Flink開發控制台的專案空間中為該RAM使用者添加owner角色,詳情請參見專案空間授權

    • 關聯Flink全託管資源到工作空間,需要在工作空間中為該RAM使用者添加管理員角色;在Designer中使用Flink全託管資源進行模型訓練,需要在工作空間中為該RAM使用者添加演算法開發角色。具體操作,請參見管理成員

購買Flink全託管資源

  1. 登入PAI控制台

  2. 在左側導覽列單擊AI計算資源 > 資源配額,在資源配額頁面中單擊Flink全託管資源

  3. 可選:Flink全託管資源頁面中,單擊去開通

    說明

    如果您首次使用Flink全託管資源,則需要執行該操作步驟,並參考開通Realtime ComputeFlink版購買Flink全託管資源。

    如果您想購買更多Flink全託管資源,可以執行後續操作步驟。

  4. 在Flink全託管頁面中,單擊資源管理

  5. Realtime Compute控制台頁面,單擊立即購買,關於如何購買Flink全託管資源,詳情請參見開通Realtime ComputeFlink版

    購買成功後,在Flink全託管資源頁面中,您可以看到購買成功的Flink全託管資源以及其他關鍵資訊。image.png

關聯Flink全託管資源到工作空間

如果您需要在PAI中使用Flink全託管資源進行計算,您可以通過以下兩種方式將已購買的Flink全託管資源關聯到工作空間。

  • 建立工作空間時,新增關聯資源群組。關於如何關聯資源群組,詳情請參見建立工作空間

  • 在已經建立完成的工作空間中添加Flink計算資源,具體操作如下所示。

    1. 登入PAI控制台

    2. 在左側導覽列單擊工作空間列表。在工作空間列表頁面中單擊待操作的工作空間名稱,進入對應工作空間。

    3. 在工作空間詳情頁面右側,單擊資源管理,並按照介面操作指引關聯Flink全託管資源。具體操作,請參見管理工作空間計算資源

在Designer中使用Flink全託管資源進行模型訓練

  1. 進入關聯了Flink全託管資源的工作空間,並在Designer頁面建立空白工作流程,詳情請參見建立自訂工作流程

  2. 在畫布中拖入支援在Flink全託管資源上啟動並執行組件,包括:

    • Alink架構的所有組件(不包括Beta組件),組件上有紫色標識。image.png

    • 自訂演算法組件(PyAlink指令碼)。

  3. 在畫布右側工作流程屬性頁簽,從Alink/FlinkML演算法預設執行資源列表中選擇Flink

    image.png

    重要

    如果Alink組件成組執行,您需要同時將Alink組執行資源類型切換到Flink,否則,執行的資源類型為Alink組的預設資源類型。關於如何設定Alink組資源類型,詳情請參見進階功能:Alink組件成組執行

  4. 運行組件,支援以下幾種方式:

    • 單獨運行依賴Flink全託管資源的組件,以運行PyAlink指令碼組件為例,詳情請參見PyAlink指令碼

    • 依賴Flink全託管資源的組件和依賴其他資源類型的組件串聯使用。以基於Alink架構的FM推薦為例,FM訓練和FM預測組件依賴Flink全託管資源,二分類評估組件依賴MaxCompute計算資源。

    • 批量運行依賴Flink全託管資源的組件,詳情請參見進階功能:Alink組件成組執行

  5. 組件運行完成後,按右鍵工作流程中的組件,在捷徑功能表中,單擊查看日誌

    image.png您也可以在日誌框中單擊vvp日誌連結,查看更詳細的計算資訊。