AutoML的使用限制以及规格,包括当前支持的地域,支持的搜索算法(TPE、GridSearch、Random、Evolution、GP、PBT),以及对应的应用场景。
支持地域(region)
当前AutoML支持在如下地域使用:
华东1(杭州)、华东2(上海)、华北2(北京)、华南1(深圳)、中国(香港)。
支持的搜索算法
当前AutoML产品在超参搜索中,支持搜索算法有以下几种,下面向您介绍各个搜索算法,以及典型适用场景。
TPE(Tree-structured Parzen Estimator)
无需附加依赖,支持所有搜索空间类型,是HPO默认算法。适用于复杂、非线性、高维度且计算代价大的问题,但无法发现参数间联系。
GridSearch(网格搜索)
网格搜索算法,将搜索空间均匀分成网格,遍历所有组合确定最佳组合。适用于搜索空间较小的情况。
Random(随机搜索)
随机生成超参组合的方法,与网格搜索原理相似,将超参数搜索空间分成网格,但随机搜索为每个trial会随机选择一组超参数。适用于非线性、高维且计算代价大的问题。
Evolution(演化算法)
演化算法,基于搜索空间初始化,每一代迭代选择较优参数并进行突变,获取下一组备选超参。需要多次trial,逻辑简单易扩展。
演化算法的思想来源于Large-Scale Evolution of Image Classifiers。
GP(Gaussian Process)(贝叶斯优化)
使用高斯过程计算loss的贝叶斯优化方法。随着数据量增加,后验分布更准确,优化效果更好。
PBT(Population Based Training)(异步优化算法)
固定计算资源的异步优化算法,通过优化固定数量模型及超参提高性能,通过迭代修改单组超参获得最优。