Elastic Container Instance:elasticコンテナインスタンスでTensorFlowタスクを実行する

イメージキャッシュの作成

イメージキャッシュ機能は、Kubernetes CustomResourceDefinitions (CRD) を使用してACKサーバーレスクラスターに統合され、イメージのプルが高速化されました。

1. イメージキャッシュの作成に使用するYAMLファイルを作成します。

   次のコードは、imagecache.yamlファイルの例を示しています。

   説明

   クラスターが中国 (杭州) リージョンにデプロイされている場合は、イメージの内部アドレスを使用してイメージをプルすることを推奨します。 クラスターが別のリージョンにデプロイされている場合は、イメージのパブリックアドレスを使用してイメージをプルできます。

   apiVersion: eci.alibabacloud.com/v1
   kind: ImageCache
   metadata:
     name: tensorflow
   spec:
     images:
     - registry.cn-hangzhou.aliyuncs.com/eci_open/tensorflow:1.0

2. イメージキャッシュを作成します。

   kubectl create -f imagecache.yaml

   イメージキャッシュを作成するときにイメージをプルする必要があります。 画像をプルするのに必要な時間は、画像サイズおよびネットワーク条件に関連する。 次のコマンドを実行して、イメージキャッシュの作成の進行状況を表示できます。

   kubectl get imagecache tensorflow

   次のようなコマンド出力は、イメージキャッシュが作成されたことを示します。

   

トレーニングジョブの作成

1. NASファイルシステムの永続ボリューム (PV) と永続ボリューム要求 (PVC) を作成します。

   1. YAMLファイルを準備します。

      次のコードは、nas.yamlファイルの例を示しています。

      apiVersion: v1
      kind: PersistentVolume
      metadata:
        name: pv-nas
        labels:
          alicloud-pvname: pv-nas
      spec:
        capacity:
          storage: 100Gi
        accessModes:
          - ReadWriteMany
        csi:
          driver: nasplugin.csi.alibabacloud.com
          volumeHandle: pv-nas
          volumeAttributes:
            server: 15e1d4****-gt***.cn-beijing.nas.aliyuncs.com     # Mount target of the NAS file system.
            path: /
        mountOptions:
          - nolock,tcp,noresvport
          - vers=3
      ---
      kind: PersistentVolumeClaim
      apiVersion: v1
      metadata:
        name: pvc-nas
      spec:
        accessModes:
          - ReadWriteMany
        resources:
          requests:
            storage: 100Gi
        selector:
          matchLabels:
            alicloud-pvname: pv-nas

   2. PVとPVCを作成します。

      kubectl create -f nas.yaml

2. トレーニングジョブを実行するポッドを作成します。

   1. YAMLファイルを準備します。

      次のコードは、tensorflow.yamlファイルの例を示しています。

      apiVersion: v1
      kind: Pod
      metadata:
        name: tensorflow
        labels:
          app: tensorflow
          alibabacloud.com/eci: "true"
        annotations:
          k8s.aliyun.com/eci-use-specs: "ecs.gn6i-c4g1.xlarge" # Specify GPU specifications.
          k8s.aliyun.com/eci-auto-imc: "true"         # Enable automatic matching of image caches.
      spec:
        restartPolicy: OnFailure
        containers:
          - name: tensorflow
            image: registry.cn-hangzhou.aliyuncs.com/eci_open/tensorflow:1.0 # Use the image address that corresponds to the image cache.
            command:
              - python
            args:
              - /home/classify_image/classify_image.py   # Execute the training script after the container is started.
            resources:
              limits:
                nvidia.com/gpu: "1"   # The number of GPUs requested by the container.
            volumeMounts:      # Mount the NAS file system to provide persistent storage for training results.
              - name: pvc-nas
                mountPath: /tmp/classify_image_model
        volumes:
          - name: pvc-nas
            persistentVolumeClaim:
              claimName: pvc-nas

   2. ポッドを作成します。

      kubectl create -f tensorflow.yaml

3. トレーニングジョブの実行ステータスを表示します。

   kubectl get pod

   ポッドが [完了] 状態の場合、トレーニングジョブは完了です。

   

   説明

   kubectl describe pod <pod name> コマンドを実行してポッドの詳細を表示したり、kubectl logs <pod name> コマンドを実行してログを表示したりすることもできます。

結果の表示

コンソールでトレーニングジョブの結果を表示できます。

• Apsara File Storage NASコンソールで、トレーニング結果がNASファイルシステムに保存されていること、およびトレーニング結果が占有しているストレージ容量を確認できます。 NASファイルシステムが再マウントされた後、対応するパスで結果を取得できます。

  

• elastic container instanceコンソールで、ポッドに対応するElastic Containerインスタンスを表示できます。

  弾性コンテナインスタンスが正常に実行されると、インスタンス内のコンテナは停止されます。 次に、システムは基になるコンピューティングリソースを再要求し、ポッドの課金は停止されます。