Container Service for Kubernetes:ヘテロジニアスコンピューティングクラスターの概要

異種混在リソース

説明

GPU

ACK では、T4、P100、V100 などの主要な GPU カードを含むクラスターを作成できます。

• 個別の GPU のリソースリクエストをサポートします。

• GPU メトリックに基づくオートスケーリングをサポートします。

• GPU 共有と計算能力の隔離をサポートします。Alibaba Cloud が開発した GPU 共有技術により、複数のモデル推論アプリケーションを同じ GPU 上で同時に実行できます。これにより、コストが大幅に削減されます。Alibaba Cloud が提供する cGPU ソリューションを使用すると、アプリケーションコンテナを変更することなく、GPU メモリと計算能力の隔離が実現されます。これにより、アプリケーションの安定性が向上します。以下の GPU デバイス割り当てポリシーがサポートされています：

  • 単一 Pod-単一 GPU 共有：このポリシーは、モデル推論シナリオで一般的に使用されます。

  • 単一 Pod-複数 GPU 共有：このポリシーは、分散トレーニング開発で一般的に使用されます。

  • Binpack 割り当てポリシー：複数の Pod が優先的に同じ GPU カードにスケジュールされます。このポリシーは、GPU 使用率を向上させる必要があるシナリオに適しています。

  • Spread 割り当てポリシー：複数の Pod が可能な限り異なる GPU カードにスケジュールされます。このポリシーは、高可用性 (HA) シナリオに適しています。

• トポロジーを意識した GPU スケジューリング機能をサポートします。この機能は、ノードからヘテロジニアスコンピューティングリソースのトポロジーを取得します。スケジューラは、ノードのトポロジー情報に基づいてスケジューリングの決定を行います。これにより、NVLINK、PCIe Switch、QPI、RDMA NIC に最適なスケジューリングオプションが提供され、最高のパフォーマンスが実現されます。

• GPU リソースモニタリングをサポートします。この機能は、ノードとアプリケーションの観点からモニタリングメトリックを提供し、デバイス (ソフトウェアとハードウェア) の例外を自動的に検出してアラートを作成し、専用 GPU と共有 GPU の両方のシナリオをサポートします。

ASIC

ACK では、NETINT ASIC デバイスを含むクラスターを作成でき、個別の NETINT ASIC カードのリソースリクエストをサポートします。

eRDMA

ACK では、eRDMA デバイスを含むクラスターを作成できます。

• Arena を通じて eRDMA デバイスを使用する分散ディープラーニングトレーニングジョブを送信します。

• 分散ディープラーニングトレーニングジョブなど、ネットワーク帯域幅に対する要件が高いジョブをサポートします。