全部產品
Search
文件中心

Platform For AI:AI加速

更新時間:Nov 29, 2024

PAI-AI加速器主要用於訓練加速和推理加速,它通過資料集加速、計算加速、最佳化演算法、調度演算法和資源最佳化技術等多種手段,提高了AI訓練和推理的速度、易用性和穩定性,全面提升了AI計算的效率。本文為您介紹AI加速器的功能亮點。

AI加速器功能簡介

AI加速器支援的技術手段及對應的功能如下:

技術手段

功能概覽

EPL(大規模分布式訓練架構)

  • 支援資料並行,運算元拆分流水並行。

  • 支援自動並行策略,得到最優分布式訓練效能。

Rapidformer(Transformer訓練加速)

  • 支援對PyTorch版Transformer模型的訓練進行最佳化。

  • 融合了多種最佳化技術,可以無縫對接Transformer模型庫。

PAI-Blade(通用推理最佳化)

  • 支援TensorFlow、PyTorch及主流加速裝置:GPU、CPU、端側裝置。

  • 支援計算圖最佳化、廠商最佳化庫、AI編譯最佳化、高效能運算元庫、混合精度及自動壓縮等多種最佳化技術。

  • 易用,標準Python SDK,一個介面即可完成最佳化。

使用AI加速器

您可以參考以下文檔連結快速接入AI加速器並體驗加速效果:

  • EPL(大規模分布式訓練架構)

    PAI-EPL是一款高效易用的分布式模型訓練架構,可以實現低成本、高效能分布式模型訓練。更多關於使用EPL實現訓練加速的操作,請參見AI加速:使用EPL實現AI訓練加速

  • Rapidformer(Transformer訓練加速)

    PAI-Rapidformer是PAI推出的一款PyTorch版的針對Transformer系列模型的訓練最佳化工具,其可以通過加速開關的方式來組合部分或全部的最佳化技術,以最佳化PyTorch版Transformer模型的訓練過程,有效提高模型訓練的速度和效率。更多關於PAI-Rapidformer的使用方法,請參見訓練加速(Rapidformer)概述

  • PAI-Blade(通用推理最佳化)

    PAI-Blade是PAI推出的一款通用推理最佳化工具,它結合了多種最佳化技術,可以對訓練完成的模型進行最佳化,以達到最優的推理效能。更多關於PAI-Blade的使用方法,請參見推理加速(Blade)概述