Platform For AI:TensorFlow Servingイメージを使用したモデルサービスのデプロイ

あなたが始める前に

モデルファイル

TensorFlow Servingイメージを使用してモデルサービスをデプロイするには、モデルファイルが次の構造のObject Storage service (OSS) バケットに格納されていることを確認します。

• Versionサブディレクトリ: 各ディレクトリには、少なくとも1つのversionサブディレクトリが必要です。 バージョンサブディレクトリの名前は、モデルバージョンを示す番号でなければなりません。 数字が大きいほど、新しいモデルバージョンを示します。

• モデルファイル: モデルファイルは、バージョンのサブディレクトリ内にSavedModel形式で保存されます。 モデルサービスは、最新バージョンに対応するサブディレクトリからモデルファイルを自動的に読み込みます。

次のステップを実行します。

1. OSSバケットにモデルストレージディレクトリを作成します (例: oss:// examplebucket/models/tf_serving/) 。 詳細については、「ディレクトリの管理」をご参照ください。

2. 前の手順で作成したディレクトリにモデルファイルをアップロードします (サンプルとしてtf_serving.zipを使用できます) 。 モデル格納ディレクトリの形式は次のとおりです。

   tf_serving 
   ├── modelA
   │   └── 1
   │       ├── saved_model.pb
   │       └── variables
   │           ├── variables.data-00000-of-00001
   │           └── variables.index
   │
   ├── modelB
   │   ├── 1
   │   │   └── ...
   │   └── 2
   │       └── ...
   │
   └── modelC
       ├── 1
       │   └── ...
       ├── 2
       │   └── ...
       └── 3
           └── ...

モデル设定ファイル

構成ファイルを使用すると、1つのサービス内で複数のモデルを実行できます。 単一モデルのサービスのみをデプロイする必要がある場合は、この手順をスキップしてください。

以下の手順に従って設定ファイルを作成し、OSSにアップロードします (モデルファイルセクションの例には、model_config.pbtxtという名前のモデル設定ファイルが含まれており、必要に応じて使用または変更できます) 。 この例では、モデル設定ファイルはoss:// examplebucket/models/tf_serving/ にアップロードされています。

モデル構成ファイルmodel_config.pbtxtには、次のファイルが含まれている必要があります。

model_config_list {
  config {
    name: 'modelA'
    base_path: '/models/modelA/'
    model_platform: 'tensorflow'
    model_version_policy{
        all: {}
    }
  }
  config {
    name: 'modelB'
    base_path: '/models/modelB/'
    model_platform: 'tensorflow'
    model_version_policy{
        specific {
            versions: 1
            versions: 2
        }
    }
    version_labels {
      	key: 'stable'
      	value: 1
    }
    version_labels {
      	key: 'canary'
      	value: 2
    }
  }
  config {
    name: 'modelC'
    base_path: '/models/modelC/'
    model_platform: 'tensorflow'
    model_version_policy{
        latest {
            num_versions: 2
        }
    }
  }
}

次の表に、主要なパラメーターを示します。

サービスのデプロイ

次のいずれかの方法を使用して、TensorFlow Servingモデルサービスをデプロイできます。

• シナリオベースの展開: 基本的な展開シナリオに適しています。 TensorFlow Servingモデルサービスをデプロイするには、いくつかのパラメーターのみを設定する必要があります。

• カスタム展開: 特定の環境で実行する必要があるモデルサービスに適しています。 ビジネス要件に基づいて設定を構成できます。

次の例では、modelAを単一モデルサービスとしてデプロイします。

モデルサービスの呼び出し

モデルサービスのデプロイ時に設定したポート番号に基づいて、HTTPまたはgRPCリクエストをモデルサービスに送信できます。 次の例は、modelAにリクエストを送信します。

1. テストデータの準備

   ModelAは、28 × 28のグレースケール画像を含むFashion − MNISTトレーニングデータセットを使用する画像分類モデルである。 サンプルが10のカテゴリの1つに属する可能性を予測します。 テストの場合、modelAサービス要求のテストデータは [[[[1.0]] * 28] * 28] で表されます。

2. サンプル要求:

   HTTP リクエスト

   サービスは、HTTP要求をポート8501でリッスンするように設定されています。 以下は、シングルモデルとマルチモデルの両方の展開のHTTPリクエストパスの概要です。

   単一モデル	マルチモデル
   パス形式: <service_url>/v1/models/<model_name>:predict ここで: シナリオベースのデプロイの場合、<model_name> はモデルとして定義されます。 カスタムデプロイメントの場合、<model_name> は [実行するコマンド] で設定されたモデル名に対応します。 デフォルト値: model。	サービスは、指定されたモデルバージョンの有無にかかわらず要求に対応します。 それぞれのパス形式は次のとおりです。 バージョンのないリクエストの場合 (最新バージョンを自動的にロード): <service_url>/v1/models/<model_name>: 予測 モデルバージョンを指定するリクエストの場合: <service_url>/v1/models/<model_name>/versions/<version_num>: 予測 バージョンラベルが設定されている場合: /v1/models/<モデル名>/labels/<バージョンラベル>: 予測 ここで、<model_name> は、モデルの構成ファイルに設定されている名前を指します。

   <service_url> はサービスのエンドポイントです。 これを表示するには、[Elastic Algorithm Service (EAS)] ページに移動し、目的のサービスの [Service Type] 列の [Invocation Method] をクリックします。 [パブリックエンドポイント] タブでエンドポイントを表示します。 このURLは、オンラインデバッグにコンソールを使用するときに事前入力されます。

   たとえば、modelAのシナリオベースの単一モデル展開のHTTPリクエストパスは、<service_url>/v1/models/model:predictです。

   以下は、コンソールとPythonコードを使用してサービスリクエストを送信する方法の例です。

   コンソールの使用

   サービスがデプロイされたら、[操作] 列の [オンラインデバッグ] を選択します。 <service_url> は、Request Parameter Online Tuningに含まれる。 パス /v1/models/model:predictをURLに追加し、Bodyにリクエストデータを入力します。

   {"signature_name": "serving_default", "instances": [[[[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]]]]}

   パラメーターを設定したら、[リクエストの送信] をクリックします。 サンプルリターン:

   

   Pythonコード

   サンプルPythonコード:

   from urllib import request
   import json
   
   # Please replace with your service endpoint and token.
   # You can view the token on the Public address call tab by clicking Call information in the Service method column of the inference service list.
   service_url = '<service_url>'
   token = '<test-token>'
   # For scenario-based single-model deployment, use model. For other cases, refer to the path description table above.
   model_name = "model"
   url = "{}/v1/models/{}:predict".format(service_url, model_name)
   
   # Create an HTTP request.
   req = request.Request(url, method="POST")
   req.add_header('authorization', token)
   data = {
       'signature_name': 'serving_default',
       'instances': [[[[1.0]] * 28] * 28]
   }
   
   # Send the request.
   response = request.urlopen(req, data=json.dumps(data).encode('utf-8')).read()
   
   # View the response.
   response = json.loads(response)
   print(response)

   gRPCリクエスト

   gRPCリクエストの場合、ポート8500を使用するようにサービスを構成し、必要な設定を追加します。 以下は、gRPCリクエストを送信するためのサンプルPythonコードです。

   import grpc
   import tensorflow as tf
   from tensorflow_serving.apis import predict_pb2
   from tensorflow_serving.apis import prediction_service_pb2_grpc
   from tensorflow.core.framework import tensor_shape_pb2
   
   # The endpoint of the service. For more information, see the description of the host parameter below.
   host = "tf-serving-multi-grpc-test.166233998075****.cn-hangzhou.pai-eas.aliyuncs.com:80"
   # Replace <test-token> with the token of the service. You can view the token on the Public address call tab.
   token = "<test-token>"
   
   # The name of the model. For more information, see the description of the name parameter below.
   name = "<model_name>"
   signature_name = "serving_default"
   # Set the value to a model version that you want to use. You can specify only one model version in a request.
   version = "<version_num>"
   
   # Create a gRPC request.
   request = predict_pb2.PredictRequest()
   request.model_spec.name = name
   request.model_spec.signature_name = signature_name
   request.model_spec.version.value = version
   request.inputs["keras_tensor"].CopyFrom(tf.make_tensor_proto([[[[1.0]] * 28] * 28]))
   
   # Send the request.
   channel = grpc.insecure_channel(host)
   stub = prediction_service_pb2_grpc.PredictionServiceStub(channel)
   metadata = (("authorization", token),)
   response, _ = stub.Predict.with_call(request, metadata=metadata)
   
   print(response)
   

   次の表に、主パラメータの詳細を示します。

   パラメーター	説明
   ホスト	プレフィックスがhttp:// で、サフィックスが :80であるモデルサービスのエンドポイント。 エンドポイントを取得するには、次の手順を実行します。[Elastic Algorithm Service (EAS)] ページに移動し、モデルサービスを見つけて、[service Type] 列の [Invocation Method] をクリックします。 [パブリックエンドポイント] タブで、モデルサービスのエンドポイントを表示します。
   name	単一モデルのgRPCリクエストの場合: シナリオベースの展開では、名前をモデルに設定します。 カスタム配置で、名前を [実行するコマンド] で指定されたモデル名に設定します。 設定されていない場合、デフォルトでmodelになります。 マルチモデルgRPCリクエストの場合: モデル構成ファイルで概要を示したモデル名にnameを設定します。
   バージョン	使用するモデルバージョン。 リクエストで指定できるモデルバージョンは1つだけです。
   メタデータ	モデルサービスのトークン。 [パブリックエンドポイント] タブでトークンを表示できます。

関連ドキュメント

• Triton Inference Serverイメージを使用してモデルサービスを展開する方法の詳細については、「Triton Inference Serverイメージを使用してモデルサービスを展開する」を参照してください。

• カスタムイメージを作成して、EASにモデルサービスを展開できます。 詳細については、「カスタムイメージを使用したモデルサービスのデプロイ」をご参照ください。