PAI-AI加速器主要用于训练加速和推理加速,它通过数据集加速、计算加速、优化算法、调度算法和资源优化技术等多种手段,提高了AI训练和推理的速度、易用性和稳定性,全面提升了AI计算的效率。本文为您介绍AI加速器的功能亮点。
AI加速器功能简介
AI加速器支持的技术手段及对应的功能如下:
技术手段 | 功能概览 |
EPL(大规模分布式训练框架) |
|
Rapidformer(Transformer训练加速) |
|
PAI-Blade(通用推理优化) |
|
使用AI加速器
您可以参考以下文档链接快速接入AI加速器并体验加速效果:
EPL(大规模分布式训练框架)
PAI-EPL是一款高效易用的分布式模型训练框架,可以实现低成本、高性能分布式模型训练。更多关于使用EPL实现训练加速的操作,请参见AI加速:使用EPL实现AI训练加速。
Rapidformer(Transformer训练加速)
PAI-Rapidformer是PAI推出的一款PyTorch版的针对Transformer系列模型的训练优化工具,其可以通过加速开关的方式来组合部分或全部的优化技术,以优化PyTorch版Transformer模型的训练过程,有效提高模型训练的速度和效率。更多关于PAI-Rapidformer的使用方法,请参见训练加速(Rapidformer)概述。
PAI-Blade(通用推理优化)
PAI-Blade是PAI推出的一款通用推理优化工具,它结合了多种优化技术,可以对训练完成的模型进行优化,以达到最优的推理性能。更多关于PAI-Blade的使用方法,请参见推理加速(Blade)概述。