PAI-TensorFlowは、Platform for AI (PAI) が提供するサービス指向の製品で、ディープラーニングの効率を向上させ、ネイティブTensorFlowのカーネルを最適化し、一般的なツールを開発するのに役立ちます。 PAI-TensorFlowは、分散スケジューリング、グローバルコンピューティングスケジューリング、オンラインモデル予測、およびGPUマッピングを備えています。
GPUアクセラレーションサーバーは段階的に廃止されます。 CPUサーバーで実行されるTensorFlowタスクを送信できます。 モデルトレーニングにGPU高速化インスタンスを使用する場合は、Deep Learning Containers (DLC) に移動してジョブを送信します。 詳細については、「トレーニングジョブの送信」をご参照ください。
背景情報
TensorFlowは、Googleが開発したオープンソースの深層学習コンピューティングフレームワークです。 畳み込みニューラルネットワーク (CNN) 、リカレントニューラルネットワーク (RNN) 、長期短期記憶 (LSTM) などの複数のニューラルネットワークモデルをサポートしています。 TensorFlowを使用すると、ビデオ、画像、テキストなどのさまざまな側面のモデルを効率的にトレーニングできます。 TensorFlowは、さまざまな機能と柔軟性の高いAPIにより、業界から幅広い注目を集めています。
PAI-TensorFlowはネイティブTensorFlowのコードと完全に互換性があり、工業生産シナリオで高いパフォーマンスを実現します。 PAI-TensorFlowは、PAIやE-MapReduce (EMR) などのAlibaba Cloudサービスで使用およびデプロイできます。
特徴
PAI-TensorFlowには次の機能があります。
サービス指向
Apsaraシステムに基づいて、Alibaba CloudはMaxComputeを開発しています。MaxComputeは、多数の企業や個々の開発者が使用するビッグデータコンピューティングサービスです。 PAI-TensorFlowは、MaxComputeでTensorFlowのコンピューティングフレームワークを使用するのに役立ちます。 PAI-TensorFlowのAPIバージョンは、TensorFlowのAPIバージョンと同じです。 TensorFlowトレーニングスクリプトAPIを使用して、MaxComputeコンピューティングクラスターにタスクを送信できます。
分散スケジューリング
PAIは大量のコンピューティングリソースを提供します。 GPUクォータを使用してリソースを管理できます。 基礎となる分散スケジューリングシステムに基づいて、PAI-TensorFlowは異なるマシンにタスクを動的にスケジュールします。 PAI-TensorFlowタスクを送信するときに、事前にGPUホストを要求する必要はありません。 必要なGPUリソースが動的に割り当てられ、リリースされます。
グローバルコンピューティングスケジューリング
MaxComputeを使用すると、プロジェクトでSQLタスクとPAI-TensorFlowタスクを同時に送信できます。 MaxComputeのグローバルコンピューティングスケジューリングサービスは、関連するGPUクラスターへのPAI-TensorFlowタスクを自動的にスケジュールします。 また、CPUクラスターに基づくデータ前処理タスクとGPUクラスターに基づくモデルトレーニングタスクを組み合わせます。
マップされたGPU
PAI-TensorFlowは、指定されたCPUまたはGPUに異なる演算子を割り当てます。 システムはGPUをマップするため、ホストのGPU構造を理解する必要はありません。 PAI-TensorFlowは、タスクが要求するGPUをワークスペースに自動的にマップします。 この場合、GPUはGPU:0やGPU:1などのGPU: 番号形式で表示されます。
オンラインモデル予測
PAIは、オンライン予測のためのElastic Algorithm Service (EAS) を提供する。 EASでPAI-TensorFlowトレーニング中に生成されたモデルをすばやくデプロイできます。 EASは、モデルの動的スケーリング、ロールオーバー、a /Bテスト、高スループット、低レイテンシなど、幅広い機能を提供します。
サポートされるPythonライブラリ
PAI-TensorFlowには、NumPyやSixなどの一般的なPythonライブラリがプリインストールされています。 ライブラリをTensorFlowタスクにインポートできます。