全部產品
Search
文件中心

Platform For AI:AutoML使用限制及規格

更新時間:Jul 13, 2024

AutoML的使用限制以及規格,包括當前支援的地區,支援的搜尋演算法TPE、GridSearch(網路搜尋)、Random(隨機搜尋)、Evolution(演化演算法)、GP(貝葉斯最佳化)、PBT(非同步最佳化演算法),以及對應的應用情境。

支援地區(region)

當前AutoML支援在下列地區使用,如果您需要使用AutoML,需要在控制台切換地區至下面中的一個:

華東1(杭州)、華東2(上海)、華北2(北京)、華南1(深圳)、中國(香港)。

說明

您可以在PAI控制台頁面上方的下拉式清單中快速切換相近或者需要的地區。

image.png

支援的搜尋演算法

當前AutoML產品在超參搜尋中,支援搜尋演算法有以下幾種,下面向您介紹各個搜尋演算法,以及典型適用情境。

  • TPE:Tree-structured Parzen Estimator,是一個無需附加依賴的輕量級演算法,可以支援所有的搜尋空間類型,為HPO中使用的預設演算法。 它可以處理複雜、非線性、高緯度且計算代價較大的問題。TPE的缺點是無法發現不同參數之間的聯絡。參考文獻:Algorithms for Hyper-Parameter Optimization

  • GridSearch:網格搜尋演算法,將所搜空間均勻分成網格,然後遍曆所有可能的組合來確定最佳組合。當搜尋空間較小時,可以使用該方法,找到絕對最優組合。

  • Random:純隨機產生超參組合的方法,與網路搜尋原理相似,將超參數搜尋空間分成網格,但隨機搜尋為每個trial會隨機播放一組超參數。對於非線性、高維且計算代價較大的問題,它作為一個高效的初篩方法,縮小網格搜尋的範圍。

  • Evolution:演化演算法的思想來源於 Large-Scale Evolution of Image Classifiers。演算法基於所搜空間初始化,對於每一代迭代,選擇較優的多個參數,並對其進行個別參數的突變(如,修改某個超參,增加或減少網路層數等)來擷取下一組備選超參。演化演算法需要進行多次trial,但是演算法邏輯簡單且容易擴充到更多的新特徵之上。

  • GP:是一個使用高斯過程(Gaussian Process)計算loss的貝葉斯最佳化方法。貝葉斯最佳化使用trial所得指標的後驗分布,利用高斯過程最佳化目標。隨著觀察資料量的增加,後驗分布也將越來越準確,演算法將更確定特定搜尋空間是否有效。

  • PBT:Population Based Training,演算法來自於文獻 Population Based Training of Neural Networks。這是一個固定計算資源的非同步最佳化演算法,通過最佳化固定數量模型及超參來提高效能。PBT演算法通過對單組超參不停迭代修改發現獲得最優,而非通過全域結果來尋找單個最優解。

相關文檔