Platform For AI:概要

サービスのデプロイ

推論サービスのデプロイ

このプロセスは、非同期推論サービスを作成するプロセスに似ています。 次の例に基づいて、サービス構成ファイルを準備します。

{ 
  "containers": [
    {
      "image": "registry-vpc.cn-shanghai.aliyuncs.com/eas/eas-container-deploy-test:202010091755",
      "command": "/data/eas/ENV/bin/python /data/eas/app.py"
      "port": 8000,
    }
  ],
  "metadata": {
    "name": "scalablejob",
    "type": "ScalableJob",
    "rpc.worker_threads": 4,
    "instance": 1,
  }
}

推論サービスをスケーラブルなジョブとして展開するには、typeをScalableJobに設定します。 その他のパラメーターについては、「モデルサービスのパラメーター」をご参照ください。 推論サービスの展開方法については、「オンラインポートレートサービスをスケーラブルなジョブとして展開する」をご参照ください。

サービスをデプロイすると、システムは自動的にキューサービスとスケーラブルなジョブを作成し、自動スケーリングを有効にします。

トレーニングサービスのデプロイ

統合デプロイメントと独立デプロイメントがサポートされています。 次のセクションでは、デプロイの仕組みと構成の詳細について説明します。 デプロイ方法の詳細については、「自動スケーリングKohyaトレーニングをスケーラブルなジョブとしてデプロイする」をご参照ください。

• デプロイの仕組み

  

  • 統合展開: EASは、キューサービスとスケーラブルジョブサービスに加えて、フロントエンドサービスを作成します。 フロントエンドサービスは、要求を受信し、要求をキューサービスに転送するために使用される。 フロントエンドサービスは、スケーラブルジョブサービスのクライアントとして機能します。 スケーラブルジョブサービスは、一意のフロントエンドサービスに関連付けられています。 この場合、Scalable Jobサービスは、関連付けられたフロントエンドサービスによって転送されたトレーニングタスクのみを実行できます。

  • 独立配置: 独立配置は、マルチユーザーシナリオに適しています。 このモードでは、Scalable Jobサービスは共通のバックエンドサービスとして使用され、複数のフロントエンドサービスに関連付けることができます。 各ユーザーは、フロントエンドサービスからトレーニングタスクを送信できます。 バックエンドのスケーラブルジョブサービスは、対応するスケーラブルジョブインスタンスを作成してトレーニングタスクを実行し、各ジョブインスタンスは、送信されたシーケンスに基づいて複数のトレーニングタスクを実行できます。 これにより、複数のユーザ間のリソース共有が可能になる。 トレーニングタスクを複数回作成する必要がないため、コストが効果的に削減されます。

• 設定

  スケーラブルなジョブサービスをデプロイするときは、カスタムイメージを提供する必要があります。 Kohyaベースのサービスをデプロイする場合は、EASでプリセットされているKohya_ssイメージを使用できます。 イメージには、トレーニングタスクのすべての依存関係が含まれている必要があります。 イメージは、トレーニングタスクの実行環境として使用されます。 起動コマンドまたはポート番号を設定する必要はありません。 トレーニングタスクの前に初期化タスクを実行する必要がある場合は、初期化コマンドを設定できます。 EASは、初期化タスクを実行するためにScalable Jobインスタンスに別のプロセスを作成します。 カスタムイメージの準備方法については、「カスタムイメージを使用したモデルサービスのデプロイ」をご参照ください。 EASのプリセット画像の例:

   "containers": [
      {
        "image": "eas-registry-vpc.cn-shanghai.cr.aliyuncs.com/pai-eas/kohya_ss:2.2"
      }
    ]

  統合デプロイメント

  サービス設定ファイルを準備します。 次のセクションでは、EASでプリセットKohya_ssイメージを使用したサンプル構成ファイルを示します。

  {
    "containers": [
      {
        "image": "eas-registry-vpc.cn-shanghai.cr.aliyuncs.com/pai-eas/kohya_ss:2.2"
      }
    ],
    "metadata": {
      "cpu": 4,
      "enable_webservice": true,
      "gpu": 1,
      "instance": 1,
      "memory": 15000,
      "name": "kohya_job",
      "type": "ScalableJobService"
    },
    "front_end": {
      "image": "eas-registry-vpc.cn-shanghai.cr.aliyuncs.com/pai-eas/kohya_ss:2.2",
      "port": 8001,
      "script": "python -u kohya_gui.py --listen 0.0.0.0 --server_port 8001 --data-dir /workspace --headless --just-ui --job-service"
    }
  }

  次のセクションでは、主要なパラメーターについて説明します。 その他のパラメーターの設定方法については、「モデルサービスのパラメーター」をご参照ください。

  • typeをScalableJobServiceに設定します。

  • 既定では、フロントエンドサービスで使用されるリソースグループは、スケーラブルジョブサービスで使用されるリソースグループと同じです。 システムは、フロントエンドサービスに2 vCPUと8 GBメモリを割り当てます。

    • 次のサンプルコードに基づいて、リソースグループをカスタマイズします。

      {
          "front_end": {
            "resource": "", # Modify the dedicated resource group that the frontend service uses. 
            "cpu": 4,
            "memory": 8000
          }
      }

    • 次のサンプルコードに基づいて、デプロイに使用されるインスタンスタイプをカスタマイズします。

      {
          "front_end": {
            "instance_type": "ecs.c6.large"
          }
      }

  独立したデプロイ

  サービス設定ファイルを準備します。 次のセクションでは、EASでプリセットKohya_ssイメージを使用したサンプル構成ファイルを示します。

  {
    "containers": [
      {
        "image": "eas-registry-vpc.cn-shanghai.cr.aliyuncs.com/pai-eas/kohya_ss:2.2"
      }
    ],
    "metadata": {
      "cpu": 4,
      "enable_webservice": true,
      "gpu": 1,
      "instance": 1,
      "memory": 15000,
      "name": "kohya_job",
      "type": "ScalableJob"
    }
  }

  typeをScalableJobServiceに設定します。 その他のパラメーターの設定方法については、「モデルサービスのパラメーター」をご参照ください。

  このモードでは、フロントエンドサービスをデプロイし、受信したリクエストをScalable Jobサービスのキューに転送するプロキシをフロントエンドサービスに実装する必要があります。 このようにして、フロントエンドサービスとバックエンドScalable Jobサービスが関連付けられます。 詳細については、「アクセスキューサービス」トピックの「キューサービスにデータを送信する」セクションをご参照ください。

コールサービス

トレーニングサービスと推論サービスを区別するには、スケーラブルジョブサービスを呼び出すときにtaskType:command/queryフィールドを設定する必要があります。 パラメーター：

• command: トレーニングサービスを識別するために使用されます。

• query: 推論サービスを識別するために使用されます。

HTTPまたはSDKを使用してサービスを呼び出す場合、taskTypeを明示的に指定する必要があります。 例：

• HTTPリクエストを送信するときにtskTypeをクエリに設定します。

  curl http://166233998075****.cn-shanghai.pai-eas.aliyuncs.com/api/predict/scalablejob?taskType={Wanted_TaskType} -H 'Authorization: xxx' -D 'xxx'

• SDKを呼び出すときにtaskTypeを指定するには、tagsパラメーターを使用します。

  # Create an input queue to send tasks or requests. 
  queue_client = QueueClient('166233998075****.cn-shanghai.pai-eas.aliyuncs.com', 'scalabejob')
  queue_client.set_token('xxx')
  queue_client.init()
  
  tags = {"taskType": "wanted_task_type"}
  # Send a task or request to the input queue. 
  index, request_id = inputQueue.put(cmd, tags)

応答を受け取る:

• 推論サービス: EASキューサービスのSDKを使用して、出力キューの結果を取得できます。 詳細については、「アクセスキューサービス」トピックの「キューサービスへのサブスクライブ」をご参照ください。

• トレーニングサービス: サービスをデプロイするときは、OSSバケットをマウントして、トレーニング結果を永続ストレージ用のOSSバケットに保存することを推奨します。 詳細については、「Kohyaベースのトレーニングをスケーラブルなジョブとしてデプロイする」をご参照ください。

ログ収集の設定

enable_write_log_to_queueを設定して、リアルタイムログを取得できます。

{
  "scalable_job": {
    "enable_write_log_to_queue": true
  }
}

• トレーニングシナリオでは、この設定はデフォルトで有効になっています。 システムはリアルタイムログを出力キューに書き戻します。 EASキューサービスのSDKを使用して、トレーニングログをリアルタイムで取得できます。 詳細については、「自動スケーリングKohyaトレーニングをスケーラブルなジョブとしてデプロイする」をご参照ください。

• 推論シナリオでは、この設定はデフォルトで無効になっています。 システムはstdoutを使用してログを出力します。

関連ドキュメント

スケーラブルなジョブサービスのシナリオの詳細については、以下のトピックを参照してください。

• スケーラブルなジョブとしての自動スケーリングKohyaトレーニングのデプロイ

• オンラインポートレートサービスをスケーラブルなジョブとして展開