如何使用阿里云实现自动机器学习（AutoML）？ - 人工智能平台 PAI

自动机器学习（后简称AutoML）是阿里云人工智能平台 PAI提供的服务，它能按照策略帮助您完成最优超参组合搜索，从而大幅提升模型调优效率。

基础概念

超参数：是训练机器学习模型时用到的外部配置参数，在模型训练开始前设置。超参数不同于模型内部参数，模型内部参数在学习过程中被不断地更新和优化，超参数在学习过程开始前就设置，在模型训练过程中保持不变。
超参调优：Hyper Parameter Optimization简称HPO，是指手动或者自动进行超参数调优，而本文中特指是AutoML提供的对模型参数、训练参数等进行自动搜索调优的服务。它能帮您获取较优参数，提升模型效果，节省算法工程师调参的时间，让算法开发人员聚焦在建模和业务上。
搜索空间：定义了超参组合的范围，AutoML会在此范围内，搜索最佳的超参组合。
实验：在PAI的AutoML服务里，一个实验的目的是在搜索空间里，寻找模型的最佳超参组合。
Trial：在PAI的AutoML服务里，每一个trial会用一组特定的超参数值组合生成和评估模型。一个实验通过调度运行多个trial，并比较这些trial的结果，达到找到最佳超参组合的目标。更多说明请参见AutoML工作原理。
任务类型：Trial使用哪种资源和环境进行训练，当前可以支持使用DLC的计算资源与MaxCompute计算资源。

背景

在机器学习模型中，超参数（Hyper Parameter，简称超参）是用来控制模型训练的一组参数，是训练机器学习模型时用到的外部配置参数。超参数在模型训练开始之前应设置好。超参数不同于模型内部参数，模型内部参数在学习过程中被不断地更新和优化。而超参数在学习过程开始前设置，在模型训练过程中保持不变。

可以把一个模型的n个超参理解成一个n维向量。在模型训练的实践中，我们需要从这个模型的所有超参向量值域里，找到一个特定的向量值，使得该模型在给定的数据集上获得最佳效果（比如最小化损失函数loss function的结果）。寻找这个最优超参向量值的过程我们称之为超参调优（Hyper Parameter Optimization，简称HPO）。

举个简单的例子，模型有2个超参A和B，A可能的取值有（a，b，c），B可能的取值有（d，e），那么这个超参调优过程就是从A、B值的6种排列组合里，选出一种，使得模型训练有最佳效果。为了选出最优组合，最简单的方式是在同一个训练数据集上，把A，B的6种值的组合分别用于模型训练，然后比较模型在同一组测试数据集上的效果，选出效果最好的模型所用的超参组合。

AutoML HPO介绍

受模型超参数量、每个超参的数据类型和值域范围影响，超参调优问题很容易达到很高的复杂度。比如模型有多个超参，有些超参是整型，有些是浮点型，此时超参调优无法通过手工来完成，通过暴力搜索需要消耗非常大的计算资源，这需要引入自动化的系统来完成这项工作。AutoML服务中的HPO功能，正是帮助用户实现自动超参调优的目标。

AutoML HPO是AutoML提供的对模型参数、训练超参数（opt、lr）等进行自动搜索调优的服务，为您提供了易用、有效、准确的自动超参调优服务：

简化调优工作：通过自动化工具大幅简化算法工程师调参工作，节省算法工程师的调参时间。
训练更优模型：集成了PAI的多种算法，能够有效查找到最优组合以及对应的模型，帮助您训练出精度更高、效率更高的模型。
节省计算资源：超参调优工具会通过持续的评估，决定是否有必要使用下一组超参组合。这个机制下，可能不需要评估所有组合就已经得到了最优解，能帮助您节省计算资源的使用量。
方便应用算力：与DLC、MaxCompute计算资源无缝衔接，方便您灵活配置并使用澎湃算力。

AutoML HPO应用场景

机器学习训练过程中，需要进行模型参数调优的，都可以使用AutoML HPO，来获得更好模型。常见的应用场景有下面几种。

机器学习二分类任务，例如判断用户是否是付费用户。
机器学习回归类任务，例如判断用户7日预计付费金额。
机器学习聚类任务，例如确定某化妆品牌在某城市划分几个买卖点。
推荐场景：排序召回模型调优，提升AUC等指标。
深度学习：提升图像多分类/视频多分类等任务的精度。

人工智能平台 PAI：自动机器学习（AutoML）

基础概念

背景

AutoML HPO介绍

AutoML HPO应用场景

相关文档