全部产品
Search
文档中心

人工智能平台 PAI:AI加速

更新时间:Nov 28, 2024

PAI-AI加速器主要用于训练加速和推理加速,它通过数据集加速、计算加速、优化算法、调度算法和资源优化技术等多种手段,提高了AI训练和推理的速度、易用性和稳定性,全面提升了AI计算的效率。本文为您介绍AI加速器的功能亮点。

AI加速器功能简介

AI加速器支持的技术手段及对应的功能如下:

技术手段

功能概览

EPL(大规模分布式训练框架)

  • 支持数据并行,算子拆分流水并行。

  • 支持自动并行策略,得到最优分布式训练性能。

Rapidformer(Transformer训练加速)

  • 支持对PyTorch版Transformer模型的训练进行优化。

  • 融合了多种优化技术,可以无缝对接Transformer模型库。

PAI-Blade(通用推理优化)

  • 支持TensorFlow、PyTorch及主流加速设备:GPU、CPU、端侧设备。

  • 支持计算图优化、厂商优化库、AI编译优化、高性能算子库、混合精度及自动压缩等多种优化技术。

  • 易用,标准Python SDK,一个接口即可完成优化。

使用AI加速器

您可以参考以下文档链接快速接入AI加速器并体验加速效果:

  • EPL(大规模分布式训练框架)

    PAI-EPL是一款高效易用的分布式模型训练框架,可以实现低成本、高性能分布式模型训练。更多关于使用EPL实现训练加速的操作,请参见AI加速:使用EPL实现AI训练加速

  • Rapidformer(Transformer训练加速)

    PAI-Rapidformer是PAI推出的一款PyTorch版的针对Transformer系列模型的训练优化工具,其可以通过加速开关的方式来组合部分或全部的优化技术,以优化PyTorch版Transformer模型的训练过程,有效提高模型训练的速度和效率。更多关于PAI-Rapidformer的使用方法,请参见训练加速(Rapidformer)概述

  • PAI-Blade(通用推理优化)

    PAI-Blade是PAI推出的一款通用推理优化工具,它结合了多种优化技术,可以对训练完成的模型进行优化,以达到最优的推理性能。更多关于PAI-Blade的使用方法,请参见推理加速(Blade)概述