AutoML的使用限制以及規格,包括當前支援的地區,支援的搜尋演算法(TPE、GridSearch、Random、Evolution、GP、PBT),以及對應的應用情境。
支援地區(region)
當前AutoML支援在如下地區使用:
華東1(杭州)、華東2(上海)、華北2(北京)、華南1(深圳)、中國(香港)。
支援的搜尋演算法
當前AutoML產品在超參搜尋中,支援搜尋演算法有以下幾種,下面向您介紹各個搜尋演算法,以及典型適用情境。
TPE(Tree-structured Parzen Estimator)
無需附加依賴,支援所有搜尋空間類型,是HPO預設演算法。適用於複雜、非線性、高維度且計算代價大的問題,但無法發現參數間聯絡。
GridSearch(網格搜尋)
網格搜尋演算法,將搜尋空間均勻分成網格,遍曆所有組合確定最佳組合。適用於搜尋空間較小的情況。
Random(隨機搜尋)
隨機產生超參組合的方法,與網格搜尋原理相似,將超參數搜尋空間分成網格,但隨機搜尋為每個trial會隨機播放一組超參數。適用於非線性、高維且計算代價大的問題。
Evolution(演化演算法)
演化演算法,基於搜尋空間初始化,每一代迭代選擇較優參數並進行突變,擷取下一組備選超參。需要多次trial,邏輯簡單易擴充。
演化演算法的思想來源於Large-Scale Evolution of Image Classifiers。
GP(Gaussian Process)(貝葉斯最佳化)
使用高斯過程計算loss的貝葉斯最佳化方法。隨著資料量增加,後驗分布更準確,最佳化效果更好。
PBT(Population Based Training)(非同步最佳化演算法)
固定計算資源的非同步最佳化演算法,通過最佳化固定數量模型及超參提高效能,通過迭代修改單組超參獲得最優。