Container Service for Kubernetes:ack-kube-queue を使用して AI および機械学習ワークロードを管理する

制限事項

• TensorFlow ジョブ、PyTorch ジョブ、および MPI ジョブをキューに送信するには、ack-arena が提供する Operator を使用する必要があります。

• Kubernetes ネイティブジョブのキューイングを有効にするには、クラスターの Kubernetes バージョンが 1.22 以降である必要があります。

• MPI ジョブをキューに送信できるのは、Arena を使用する場合のみです。

• Argo ワークフローのみをキューに送信できます。 Argo ワークフローのステップをキューに送信することはできません。 次のアノテーションを追加して、Argo ワークフローによってリクエストされるリソースを指定できます。

  ...
   annotations:
     kube-queue/min-resources: |
       cpu: 5
       memory: 5G
  ...

特定のタイプのジョブのサポートを有効にする

1. ACK コンソール にログインします。左側のナビゲーションウィンドウで、[クラスター] をクリックします。

2. [クラスター] ページで、管理するクラスターを見つけ、その名前をクリックします。左側のペインで、[アプリケーション] > [helm] を選択します。

3. [ack-kube-queue] を見つけ、[アクション] 列の [更新] をクリックします。

4. 次の表の説明に基づいて YAML テンプレートを変更し、特定のタイプのジョブのサポートを有効にします。

   パラメーター	説明
   extension.argo.enable を true に設定します。	Argo ワークフローのサポートを有効にします。
   extension.mpi.enable を true に設定します。	MPI ジョブのサポートを有効にします。
   extension.ray.enable を true に設定します。	Ray ジョブのサポートを有効にします。
   extension.spark.enable を true に設定します。	Spark アプリケーションのサポートを有効にします。
   extension.tf.enable を true に設定します。	TensorFlow ジョブのサポートを有効にします。
   extension.pytorch.enable を true に設定します。	PyTorch ジョブのサポートを有効にします。

TensorFlow ジョブ、PyTorch ジョブ、および MPI ジョブをキューに送信する

scheduling.x-k8s.io/suspend="true" アノテーションをジョブに追加する必要があります。 次のサンプルコードは、TensorFlow ジョブをキューに送信します。

apiVersion: "kubeflow.org/v1"
kind: "TFJob"
metadata:
  name: "job1"
  annotations:
    scheduling.x-k8s.io/suspend: "true"
spec:
...

Kubernetes ネイティブジョブをキューに送信する

suspend フィールドを true に設定する必要があります。 前の例では、CPU リクエストが 100m に設定されているジョブがキューに入れられます。 ジョブがキューから削除されると、ジョブの suspend フィールドの値が false に変更され、ジョブはクラスター内の関連コンポーネントによって実行されます。

apiVersion: batch/v1
kind: Job
metadata:
  generateName: pi-
spec:
  suspend: true
...

Argo ワークフローをキューに送信する

suspend タイプの kube-queue-suspend という名前のカスタムテンプレートを Argo Workflows を使用して追加します。 ワークフローを送信するときは、suspend を true に設定します。 例：

apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:
  generateName: $example-name
spec:
  suspend: true # このフィールドを true に設定します。
  entrypoint: $example-entrypoint
  templates:
  # suspend タイプの kube-queue-suspend という名前のテンプレートを追加します。
  - name: kube-queue-suspend
    suspend: {}
  - name: $example-entrypoint
...

Spark アプリケーションをキューに送信する

Spark アプリケーションを送信するときは、scheduling.x-k8s.io/suspend="true" アノテーションを Spark アプリケーション の構成に追加します。

apiVersion: sparkoperator.k8s.io/v1beta2
kind: SparkApplication
metadata:
  generateName: spark-pi-suspend-
  namespace: spark-operator
  annotations:
    scheduling.x-k8s.io/suspend: "true"
spec:
...

Ray ジョブをキューに送信する

Ray ジョブを送信するときは、spec.suspend を true に設定します。

apiVersion: ray.io/v1
kind: RayJob
metadata:
  name: rayjob-sample
spec:

  # suspend は、RayJob コントローラーが RayCluster インスタンスを作成するかどうかを指定します。
  # suspend フィールドを true に設定してジョブを適用すると、RayCluster は作成されず、false への遷移を待ちます。
  # RayCluster がすでに作成されている場合は、削除されます。 false に遷移した場合、新しい RayCluster が作成されます。
  suspend: true
...