AutoML的使用限制以及规格,包括当前支持的地域,支持的搜索算法TPE、GridSearch(网络搜索)、Random(随机搜索)、Evolution(演化算法)、GP(贝叶斯优化)、PBT(异步优化算法),以及对应的应用场景。
支持地域(region)
当前AutoML支持在下列地域使用,如果您需要使用AutoML,需要在控制台切换地域至下面中的一个:
华东1(杭州)、华东2(上海)、华北2(北京)、华南1(深圳)、中国(香港)。
您可以在PAI控制台页面上方的下拉列表中快速切换相近或者需要的地域。
支持的搜索算法
当前AutoML产品在超参搜索中,支持搜索算法有以下几种,下面向您介绍各个搜索算法,以及典型适用场景。
TPE:Tree-structured Parzen Estimator,是一个无需附加依赖的轻量级算法,可以支持所有的搜索空间类型,为HPO中使用的默认算法。 它可以处理复杂、非线性、高纬度且计算代价较大的问题。TPE的缺点是无法发现不同参数之间的联系。参考文献:Algorithms for Hyper-Parameter Optimization
GridSearch:网格搜索算法,将所搜空间均匀分成网格,然后遍历所有可能的组合来确定最佳组合。当搜索空间较小时,可以使用该方法,找到绝对最优组合。
Random:纯随机生成超参组合的方法,与网络搜索原理相似,将超参数搜索空间分成网格,但随机搜索为每个trial会随机选择一组超参数。对于非线性、高维且计算代价较大的问题,它作为一个高效的初筛方法,缩小网格搜索的范围。
Evolution:演化算法的思想来源于 Large-Scale Evolution of Image Classifiers。算法基于所搜空间初始化,对于每一代迭代,选择较优的多个参数,并对其进行个别参数的突变(如,修改某个超参,增加或减少网络层数等)来获取下一组备选超参。演化算法需要进行多次trial,但是算法逻辑简单且容易扩展到更多的新特征之上。
GP:是一个使用高斯过程(Gaussian Process)计算loss的贝叶斯优化方法。贝叶斯优化使用trial所得指标的后验分布,利用高斯过程优化目标。随着观察数据量的增加,后验分布也将越来越准确,算法将更确定特定搜索空间是否有效。
PBT:Population Based Training,算法来自于文献 Population Based Training of Neural Networks。这是一个固定计算资源的异步优化算法,通过优化固定数量模型及超参来提高性能。PBT算法通过对单组超参不停迭代修改发现获得最优,而非通过全局结果来寻找单个最优解。