Platform For AI:EasyVisionを使用してオブジェクトを検出する

ステップ1: データの準備

1. ossutilを使用して、現在のディレクトリにPascalデータセットをダウンロードします。

   ossutil64 cp -r oss:// pai-vision-data-hz/data/voc0712_tfrecord/ data/voc0712_tfrecord

2. ResNet50事前トレーニング済みモデルを現在のディレクトリにダウンロードします。

   mkdir -p pretrained_models /
   ossutil64 cp -r oss:// pai-vision-data-hz/pretrained_models/resnet_v1d_50/ pretrained_models/resnet_v1d_50 

ステップ2: 現在のディレクトリでトレーニングタスクを開始する

• 単一機械モード

  import easy_vision
  easy_vision.train_and_evaluate(easy_vision.RFCN_SAMPLE_CONFIG)

  トレーニングプロセスでは、5,000ラウンドのトレーニングごとにモデルが評価されます。

• マルチマシンモード

  複数のサーバーを使用してモデルをトレーニングできます。 各サーバーに少なくとも2つのGPUがあることを確認します。 マルチマシンモードでは、次の子プロセスを開始する必要があります。

  • ps: パラメーターサーバー。

  • master: 概要を書き込み、チェックポイントを保存し、モデルを定期的に評価するマスターノード。

  • worker: 特定のデータを処理するワーカーノード。

  次のコードを実行して、トレーニングタスクを開始します。

  #-*- encoding:utf-8 -*-
  import multiprocessing
  import sys
  import os
  import easy_vision
  import json
  import logging
  import subprocess
  import time
  
  # train config under distributed settings
  config=easy_vision.RFCN_DISTRIBUTE_SAMPLE_CONFIG
  
  # The configuration of the cluster. 
  TF_CONFIG={'cluster':{
               'ps': ['localhost:12921'],
               'master': ['localhost:12922'],
               'worker': ['localhost:12923']
              }
            }
  
  def job(task, gpu):
    task_name = task['type']
    # redirect python log and tf log to log_file_name
    # [logs/master.log, logs/worker.log, logs/ps.log]
    log_file_name = "logs/%s.log" % task_name
  
    TF_CONFIG['task'] = task
    os.environ['TF_CONFIG'] = json.dumps(TF_CONFIG)
    os.environ['CUDA_VISIBLE_DEVICES'] = gpu
    train_cmd = 'python -m easy_vision.python.train_eval --pipeline_config_path %s' % config
    logging.info('%s > %s 2>&1 ' % (train_cmd, log_file_name))
    with open(log_file_name, 'w') as lfile:
      return subprocess.Popen(train_cmd.split(' '), stdout= lfile, stderr=subprocess.STDOUT)
  
  
  if __name__ == '__main__':
    procs = {}
    # start ps job on cpu
    task = {'type':'ps', 'index':0}
    procs['ps'] = job(task, '')
    # start master job on gpu 0
    task = {'type':'master', 'index':0}
    procs['master'] = job(task, '0')
    # start worker job on gpu 1
    task = {'type':'worker', 'index':0}
    procs['worker'] = job(task, '1')
  
    num_worker = 2
    for k, proc in procs.items():
      logging.info('%s pid: %d' %(k, proc.pid))
  
    task_failed = None
    task_finish_cnt = 0
    task_has_finished = {k:False for k in procs.keys()}
    while True:
      for k, proc in procs.items():
        if proc.poll() is None:
          if task_failed is not None:
            logging.error('task %s failed, %s quit' % (task_failed, k))
            proc.terminate()
            if k != 'ps':
              task_has_finished[k] = True
              task_finish_cnt += 1
            logging.info('task_finish_cnt %d' % task_finish_cnt)
        else:
          if not task_has_finished[k]:
            #process quit by itself
            if k != 'ps':
              task_finish_cnt += 1
              task_has_finished[k] = True
            logging.info('task_finish_cnt %d' % task_finish_cnt)
            if proc.returncode != 0:
              logging.error('%s failed' %k)
              task_failed = k
            else:
              logging.info('%s run successfully' % k)
  
      if task_finish_cnt >= num_worker:
        break
      time.sleep(1)

ステップ3: TensorBoardを使用してトレーニングタスクを監視する

tensorboard -- port 6006 -- logdir pascal_resnet50_rfcn_model [ -- host 0.0.0.0 ]

ステップ4: モデルのテストと評価

pip install https://pai-vision-data-hz.oss-accelerate.aliyuncs.com/release/easy_vision-1.12.4.1-py2.py3-none-any.whl

ステップ5: モデルをエクスポートする

import easy_vision
easy_vision.export(export_dir, pipeline_config_path, checkpoint_path)

ステップ6: SavedModelファイルを評価する

from easy_vision.python.main import predictor_evaluate
predictor_evaluate(predictor_eval_config)

ステップ7: モデルをサービスとしてデプロイする

SavedModelファイルをObject Storage Service (OSS) に保存し、そのファイルを使用してElastic Algorithm service (EAS) にサービスをデプロイします。 詳しくは、「サービスの作成」をご参照ください。