Platform For AI:TensorFlow Serving イメージを使用してモデルサービスをデプロイする

始める前に

モデルファイル

TensorFlow Serving イメージを使用してモデルサービスをデプロイするには、モデルファイルが次の構造の Object Storage Service (OSS) バケットに保存されていることを確認してください。

• バージョン サブディレクトリ: 各ディレクトリには、少なくとも 1 つのバージョン サブディレクトリが必要です。バージョン サブディレクトリの名前は、モデルバージョンを示す数値である必要があります。数値が大きいほど、モデルバージョンが新しくなります。

• モデルファイル: モデルファイルは、バージョン サブディレクトリ内に SavedModel 形式で保存されます。モデルサービスは、最新バージョンに対応するサブディレクトリからモデルファイルを自動的にロードします。

次の手順を実行します。

1. OSS バケットにモデルストレージディレクトリを作成します（例: oss://examplebucket/models/tf_serving/）。 詳細については、「ディレクトリの管理」をご参照ください。

2. 前の手順で作成したディレクトリにモデルファイルをアップロードします (サンプルとして tf_serving.zip を使用できます)。モデルストレージディレクトリの形式は次のとおりです。

   tf_serving 
   ├── modelA
   │   └── 1
   │       ├── saved_model.pb
   │       └── variables
   │           ├── variables.data-00000-of-00001
   │           └── variables.index
   │
   ├── modelB
   │   ├── 1
   │   │   └── ...
   │   └── 2
   │       └── ...
   │
   └── modelC
       ├── 1
       │   └── ...
       ├── 2
       │   └── ...
       └── 3
           └── ...

モデル構成ファイル

構成ファイルを使用すると、単一のサービス内で複数のモデルを実行できます。単一モデルサービスのみをデプロイする必要がある場合は、この手順をスキップしてください。

以下の手順に従って構成ファイルを作成し、OSS にアップロードします（モデルファイル セクションで提供されている例には、model_config.pbtxt という名前のモデル構成ファイルが含まれており、必要に応じて使用または変更できます）。 この例では、モデル構成ファイルは oss://examplebucket/models/tf_serving/ にアップロードされます。

モデル構成ファイル model_config.pbtxt には、次のものが含まれている必要があります。

model_config_list {
  config {
    name: 'modelA'
    base_path: '/models/modelA/'
    model_platform: 'tensorflow'
    model_version_policy{
        all: {}
    }
  }
  config {
    name: 'modelB'
    base_path: '/models/modelB/'
    model_platform: 'tensorflow'
    model_version_policy{
        specific {
            versions: 1
            versions: 2
        }
    }
    version_labels {
      	key: 'stable'
      	value: 1
    }
    version_labels {
      	key: 'canary'
      	value: 2
    }
  }
  config {
    name: 'modelC'
    base_path: '/models/modelC/'
    model_platform: 'tensorflow'
    model_version_policy{
        latest {
            num_versions: 2
        }
    }
  }
}

次の表に、主要なパラメーターを示します。

サービスのデプロイ

次のいずれかの方法を使用して、TensorFlow Serving モデルサービスをデプロイできます。

• シナリオベースのデプロイメント: 基本的なデプロイメントシナリオに適しています。少数のパラメーターを構成するだけで、TensorFlow Serving モデルサービスをデプロイできます。

• カスタムデプロイメント: 柔軟な構成がサポートされています。たとえば、ポートを変更したり、モデルファイルのポーリング期間を指定したりできます。

モデルサービスの呼び出し

モデルサービスのデプロイ時に構成したポート番号に基づいて、HTTP または gRPC リクエストをモデルサービスに送信できます。次の例では、modelA にリクエストを送信します。

1. テストデータを準備する

   ModelA は、28x28 のグレースケール画像で構成される Fashion-MNIST トレーニング データセットを使用する画像分類モデルです。 サンプルが 10 個のカテゴリのいずれかに属する可能性を予測します。 テストでは、modelA サービスリクエストのテストデータは [[[[1.0]] * 28] * 28] で表されます。

2. サンプルリクエストを表示します。

   HTTP リクエスト

   サービスは、ポート 8501 で HTTP リクエストをリッスンするように構成されています。単一モデルと複数モデルの両方のデプロイメントの HTTP リクエストパスの概要を以下に示します。

   単一モデル	複数モデル
   パス形式: <service_url>/v1/models/<model_name>:predict ここで: シナリオベースのデプロイメントの場合、<model_name> は model として事前定義されています。 カスタムデプロイメントの場合、<model_name> は [実行するコマンド] で設定されたモデル名に対応します。デフォルト値: model。	サービスは、モデルバージョンが指定されているリクエストと指定されていないリクエストの両方に対応します。それぞれのパス形式は次のとおりです。 バージョンが指定されていないリクエスト (最新バージョンを自動的にロード): <service_url>/v1/models/<model_name>:predict モデルバージョンが指定されているリクエスト: <service_url>/v1/models/<model_name>/versions/<version_num>:predict バージョンラベルが構成されている場合: <service_url>/v1/models/<model_name>/labels/<version label>:predict ここで、<model_name> はモデルの構成ファイルで設定された名前を指します。

   <service_url> はサービスのエンドポイントです。 表示するには、[Elastic Algorithm Service (EAS)] ページに移動し、目的のサービスの [サービスの種類] 列の [呼び出し方法] をクリックします。 この URL は、オンラインデバッグにコンソールを使用するときに事前に入力されます。

   たとえば、modelA のシナリオベースの単一モデルデプロイメントの HTTP リクエストパスは <service_url>/v1/models/model:predict です。

   コンソールでオンラインデバッグを実行し、Python コードを使用してサービスリクエストを送信する方法の例を以下に示します。

   オンラインデバッグを実行する

   サービスがデプロイされたら、[アクション] 列の [オンラインデバッグ] を選択します。 <service_url> は [リクエストパラメーターのオンラインチューニング] に含まれています。 パス /v1/models/model:predict を URL に追加し、[本文] にリクエストデータを入力します。

   {"signature_name": "serving_default", "instances": [[[[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]],(以下略)]]}

   パラメーターを設定したら、[リクエストの送信] をクリックします。戻り値の例:

   

   Python コードを使用して HTTP リクエストを送信する

   Python コードの例:

   from urllib import request
   import json
   
   # サービスエンドポイントとトークンに置き換えてください。
   # トークンは、推論サービスリストの [サービスメソッド] 列にある [呼び出し情報] をクリックすると、[パブリックアドレス呼び出し] タブに表示されます。
   service_url = '<service_url>'
   token = '<test-token>'
   # シナリオベースの単一モデルデプロイメントの場合は model を使用します。その他の場合は、上記のパス記述テーブルを参照してください。
   model_name = "model"
   url = "{}/v1/models/{}:predict".format(service_url, model_name)
   
   # HTTP リクエストを作成します。
   req = request.Request(url, method="POST")
   req.add_header('authorization', token)
   data = {
       'signature_name': 'serving_default',
       'instances': [[[[1.0]] * 28] * 28]
   }
   
   # リクエストを送信します。
   response = request.urlopen(req, data=json.dumps(data).encode('utf-8')).read()
   
   # レスポンスを表示します。
   response = json.loads(response)
   print(response)

   gRPC リクエスト

   gRPC リクエストの場合は、サービスがポート 8500 を使用するように構成し、必要な設定を追加します。 gRPC リクエストを送信するための Python コードの例を以下に示します。

   import grpc
   import tensorflow as tf
   from tensorflow_serving.apis import predict_pb2
   from tensorflow_serving.apis import prediction_service_pb2_grpc
   from tensorflow.core.framework import tensor_shape_pb2
   
   # サービスのエンドポイント。詳細については、以下の host パラメーターの説明を参照してください。
   host = "tf-serving-multi-grpc-test.166233998075****.cn-hangzhou.pai-eas.aliyuncs.com:80"
   # <test-token> をサービスのトークンに置き換えます。トークンは [パブリックエンドポイント] タブで確認できます。
   token = "<test-token>"
   
   # モデルの名前。詳細については、以下の name パラメーターの説明を参照してください。
   name = "<model_name>"
   signature_name = "serving_default"
   # 使用するモデルバージョンに値を設定します。リクエストでは 1 つのモデルバージョンのみを指定できます。
   version = "<version_num>"
   
   # gRPC リクエストを作成します。
   request = predict_pb2.PredictRequest()
   request.model_spec.name = name
   request.model_spec.signature_name = signature_name
   request.model_spec.version.value = version
   request.inputs["keras_tensor"].CopyFrom(tf.make_tensor_proto([[[[1.0]] * 28] * 28]))
   
   # リクエストを送信します。
   channel = grpc.insecure_channel(host)
   stub = prediction_service_pb2_grpc.PredictionServiceStub(channel)
   metadata = (("authorization", token),)
   response, _ = stub.Predict.with_call(request, metadata=metadata)
   
   print(response)
   

   次の表に、主要なパラメーターを示します。

   パラメーター	説明
   host	http:// プレフィックスがなく、:80 サフィックスが付いたモデルサービスのエンドポイント。 エンドポイントを取得するには、次の手順を実行します。 [Elastic Algorithm Service (EAS)] ページに移動し、モデルサービスを見つけ、[サービスの種類] 列の [呼び出し方法] をクリックします。
   name	単一モデル gRPC リクエストの場合: シナリオベースのデプロイメントでは、name を model に設定します。 カスタムデプロイメントでは、name を [実行するコマンド] で指定されたモデル名に設定します。設定しない場合、デフォルトで model になります。 複数モデル gRPC リクエストの場合: name をモデル構成ファイルで概説されているモデル名に設定します。
   version	使用するモデルバージョン。リクエストでは 1 つのモデルバージョンのみを指定できます。
   metadata	モデルサービスのトークン。 [呼び出し方法] をクリックして表示できます。

関連情報

• Triton Inference Server イメージを使用してモデルサービスをデプロイする方法については、「Triton Inference Server イメージを使用してモデルサービスをデプロイする」をご参照ください。

• カスタムイメージを作成して、EAS にモデルサービスをデプロイできます。詳細については、「カスタムイメージを使用してモデルサービスをデプロイする」をご参照ください。