AI (PAI) のための機械学習プラットフォーム-ブレードは、さまざまな最適化技術を統合します。 PAI-Bladeを使用して、トレーニング済みモデルの推論パフォーマンスを最適化し、モデルを最適な推論パフォーマンスで実行できます。 さらに、PAI-Bladeは、推論用に最適化されたモデルをデプロイするために使用できるC ++ 用のSDKを提供します。 これにより、モデルをプロダクションに簡単に適用できます。 このトピックでは、PAI-Bladeの仕組みとPAI-Bladeの使用方法について説明します。
背景情報
PAI-Bladeは、推論最適化のためにPAIが提供する普遍的なツールです。 PAI-Bladeは、モデルの推論パフォーマンスを最適化するための幅広い技術を提供します。 PAI-Bladeを使用して、最適な推論パフォーマンスでモデルを実行できます。 PAI-Bladeは、計算グラフ最適化、TensorRTやoneDNNなどのベンダー最適化ライブラリ、AIコンパイル最適化、PAI-Bladeの手動最適化用のオペレータライブラリ、PAI-Bladeの混合精度、PAI-Bladeの自動圧縮など、さまざまな最適化テクノロジーを統合しています。。 PAI-Bladeを使用してモデルの推論パフォーマンスを最適化する場合、PAI-Bladeはモデルを分析し、一部またはすべての最適化テクノロジをモデルに適用します。
PAI-Bladeに統合されたすべての最適化テクノロジーはユニバーサルデザインを使用しており、さまざまなビジネスシナリオに適用できます。 さらに、PAI-Bladeは、モデルの精度またはメトリックへの予期しない影響を防ぐために、各最適化ステップの数値結果の精度を検証します。
PAI-Bladeは、モデル最適化のしきい値を下げ、ユーザーエクスペリエンスを向上させ、生産効率を向上させる新しい種類の製品です。
PAI刃がいかに働くか
リソースを申請したり、モデルやデータをアップロードしたりすることなく、ホイールパッケージを使用してPAI-Bladeをローカル環境にインストールできます。 PAI-Bladeが提供するPythonメソッドをコードで呼び出して、モデル最適化をパイプラインに統合できます。 PAI-Bladeを使用すると、ローカル環境で最適化されたモデルのパフォーマンスを検証することもできます。 さらに、パラメーターを設定することで、さまざまな最適化ポリシーを試し、さまざまな最適化効果を調べることができます。
PAI-Bladeには、モデルのデプロイに使用できるC ++ 用のSDKも用意されています。 PAI-Bladeを使用して最適化されたモデルを実行するには、SDKが必要です。 ただし、モデルコードを変更する必要なく、PAI-Bladeのライブラリファイルにリンクするだけで済みます。
PAIブレードの使い方
PAI-Bladeを使用するには、次の手順を実行します。
PAI-Bladeをインストールします。 詳細については、「PAI-Bladeのインストール」をご参照ください。
モデルを最適化します。 詳細については、「TensorFlowモデルの最適化」および「PyTorchモデルの最適化」をご参照ください。
モデルを量子化する方法の詳細については、「量子化」をご参照ください。 コンパイル最適化モードを指定する方法の詳細については、「AICompilerを使用してモデルを最適化する」をご参照ください。
生成された最適化レポートを解釈します。 詳細については、「最適化レポート」をご参照ください。
推論用のモデルをデプロイします。 詳細については、「SDKを使用してTensorFlowモデルを推論用にデプロイする」、「SDKを使用してPyTorchモデルを推論用にデプロイする」、および「ブレードEASプラグインを使用してモデルを最適化およびデプロイする」をご参照ください。