資料轉送安全
PAI支援使用Python官方SDK或自行實現調用邏輯的方式對服務進行VPC高速直連調用,以實現模型部署服務的安全訪問。通過VPC的網路隔離能力,實現資料的傳輸安全。同時,EAS支援HTTPS加密傳輸,訪問服務時,將訪問地址中的http
替換成https
即可,無需其他配置。
Virtual Private Cloud安全性說明請參見 安全體系概述。
資料存放區安全
PAI提供資料集管理模組,支援匯入公用資料集、阿里雲雲產品中的資料等建立為資料集,也支援掃描OSS檔案夾產生索引資料集,為智能標註、模型訓練做準備。
讀取和儲存資料至OSS及NAS,實現資料集、模型等資料檔案的儲存安全。基於阿里雲儲存產品的高可用,保證使用者資料安全可靠。
資料存放區介質 | 可用性說明 |
Object Storage Service | |
Apsara File Storage NAS | |
雲端硬碟 | |
雲原生MaxCompute MaxCompute |
資料備份與恢複
PAI支援鏡像方式進行使用者環境、資料集等的備份與恢複。您可以對建立的執行個體儲存鏡像, 以儲存對應的工程環境以及配置,並在需要是隨時部署鏡像,避免您珍貴的環境資料丟失。而儲存在對應介質中的資料/資料集,可以通過對應儲存產品進行備份以及恢複。
資料存放區介質 | 可用性說明 |
Object Storage Service | |
Apsara File Storage NAS | |
雲原生MaxCompute MaxCompute |
同時PAI EasyCkpt是PAI為PyTorch大模型訓練情境而開發的高效能Checkpoint架構,通過實現接近零開銷的模型儲存機制,提供了大模型訓練全過程進度無損的模型儲存與恢複的能力,支援當前流行的兩種大模型訓練架構Megatron和DeepSpeed,詳細請參見EasyCkpt:AI大模型高效能狀態儲存恢複。