TensorFlow Servingイメージを使用したモデルサービスのデプロイ - Platform For AI

TensorFlow Servingは、深層学習モデル用の推論サービングシステムです。 TensorFlow Servingでは、オンラインサービスとしてSavedModel形式のTensorFlowモデルをデプロイできます。 TensorFlow Servingは、ローリングアップデートやモデルのバージョン管理などの機能もサポートしています。このトピックでは、TensorFlow Servingイメージを使用してモデルサービスをデプロイする方法について説明します。

モデルサービスのデプロイ

単一モデルサービスのデプロイ

Object Storage Service (OSS) バケットにモデルディレクトリを作成します。詳細については、「ディレクトリの管理」をご参照ください。
TensorFlow Servingモデルのディレクトリには、次のバージョンのサブディレクトリとファイルが含まれている必要があります。
- バージョンサブディレクトリ: 各モデルディレクトリには、少なくとも1つのバージョンサブディレクトリが必要です。バージョンサブディレクトリの名前は、モデルバージョンを示す番号でなければなりません。数字が大きいほど、新しいモデルバージョンを示します。
- モデルファイル: モデルファイルは、バージョンサブディレクトリ内にSavedModel形式で保存されます。このサービスは、最新バージョンに対応するサブディレクトリからモデルファイルを自動的に読み込みます。
たとえば、モデルはoss:// examplebucket/models/tf_serving/ ディレクトリに格納され、ディレクトリは次の構造で構成されています。
```
tf_serving
└── mnist
    └──1
       ├── saved_model.pb
       └── variables
           ├── variables.data-00000-of-00001
           └── variables.index
```

TensorFlow Servingサービスをデプロイします。

TensorFlow Servingサービスでは、次のポートを設定できます。既定では、サービスはシナリオベースのモデル展開でポート8501を使用します。ポート8500を使用する場合は、ステップeを実行します。そうでなければ、ステップeを無視する。

8501: HTTPリクエストを受信するために、ポート8501でHTTPまたはRESTサーバーを起動します。
8500: ポート8500でGoogleリモートプロシージャコール (gRPC) サーバーを起動し、gRPCリクエストを受信します。

以下の手順を実行します。

Elastic Algorithm Service (EAS)ページに移動します。
1. PAIコンソールにログインします。
2. 左側のナビゲーションウィンドウで、[ワークスペース] をクリックします。 [ワークスペース] ページで、管理するワークスペースの名前をクリックします。
3. 左側のナビゲーションウィンドウで、[モデル展開] > [Elastic Algorithm Service (EAS)] を選択します。 Elastic Algorithm Service (EAS) ページが表示されます。
[Elastic Algorithm Service (EAS)] ページで、[サービスのデプロイ] をクリックします。
表示されるページの [シナリオベースのモデル展開] セクションで、[TensorFlow Serving Deployment] をクリックします。

[TFServingデプロイ] ページで、次の表に示すパラメーターを設定します。その他のパラメーターについては、「PAIコンソールでのモデルサービスのデプロイ」をご参照ください。

パラメーター	説明
サービス名	サービスの名前です。
デプロイ方法	[標準モデルの配置] を選択します。
モデル設定	OSSパラメーターを、手順1で準備したモデルファイルが格納されているOSSパスに設定します。例: `oss:// examplebucket/models/tf_serving/`

(オプション) ページの右上隅にある [カスタムデプロイに変換] をクリックします。 [モデルサービス情報] セクションで、[実行するコマンド] パラメーターを変更して、ポート番号を8500に変更します。 [構成エディター] セクションで、次の構成を追加します。
説明
デフォルトでは、サービスはHTTPリクエストを受信するためにポート8501でHTTPサーバーまたはRESTサーバーを起動します。 gRPCリクエストを受信するには、ポート番号を8500に変更する必要があります。システムはポート8500でgRPCサーバーを起動します。
```
"metadata": {
    "enable_http2": true
},
"networking": {
    "path": "/"
}
```
パラメーターを設定したら、[デプロイ] をクリックします。

マルチモデルサービスのデプロイ

Tensorflow Servingを使用すると、複数のモデルを同時にデプロイできます。複数のモデルをデプロイするには、次の手順を実行します。

OSSバケットにモデルディレクトリを作成します。詳細については、「ディレクトリの管理」をご参照ください。

たとえば、モデルはoss:// examplebucket/models/tf_serving/ ディレクトリに格納され、ディレクトリは次の構造で構成されます。

tf_serving
├── model_config.pbtxt
│   
├── model1
│   ├── 1
│   │   ├── saved_model.pb
│   │   └── variables
│   │       ├── variables.data-00000-of-00001
│   │       └── variables.index
│   ├── 2
│   │   └── ...
│   └── 3
│       └── ...
│
├── model2
│   ├── 1
│   │   └── ...
│   └── 2
│       └── ...
│
└── model3
    ├── 1
    │   └── ...
    ├── 2
    │   └── ...
    └── 3
        └── ...

model_config.pbtxtファイルは、モデルの設定を指定します。例：

model_config_list {
  config {
    name: 'model1'
    base_path: '/models/model1/'
    model_platform: 'tensorflow'
    model_version_policy{
        specific {
            versions: 1
            versions: 2
        }
    }
    version_labels {
      	key: 'stable'
      	value: 1
    }
    version_labels {
      	key: 'canary'
      	value: 2
    }
  }
  config {
    name: 'model2'
    base_path: '/models/model2/'
    model_platform: 'tensorflow'
    model_version_policy{
        all: {}
    }
  }
  config {
    name: 'model3'
    base_path: '/models/model3/'
    model_platform: 'tensorflow'
    model_version_policy{
        latest {
            num_versions: 2
        }
    }
  }
}

次の表に、config.pbtxt設定ファイルのパラメーターを示します。

パラメーター	必須/任意	説明
name	いいえ	モデルの名前。このパラメーターを設定することを推奨します。そうでない場合、モデルサービスを呼び出すことはできません。
base_path	はい	サービスインスタンス内のモデルディレクトリのパス。このパスは、後続の手順でモデルファイルを読み取るために使用されます。たとえば、モデルが `/models`ディレクトリにマウントされ、モデルディレクトリが `/models/model1`の場合、このパラメーターを `/models/model1`に設定します。
model_version_ポリシー	いいえ	モデルのバージョン読み込みポリシー。このパラメーターを空のままにすると、最新バージョンが読み込まれます。 all{}: モデルで使用可能なすべてのバージョンを読み込みます。上記の例では、model2のすべてのバージョンが読み込まれます。 latest{num_versions}: 最新のnバージョンを読み込みます。nはnum_versionsの値です。上記の例では、`num_versions: 2`は、model3の最新の2つのバージョン (バージョン2とバージョン3) がロードされていることを示します。 specific{versions:[]}: 特定のバージョンを読み込みます。上記の例では、model1のバージョン1とバージョン2が読み込まれています。
バージョン_ラベル	いいえ	モデルバージョンを識別するために使用されるカスタムラベル。説明デフォルトでは、ラベルは既にロードされており、提供可能なモデルバージョンにのみ割り当てることができます。ロードされていないバージョンにラベルを割り当てるには、[実行するコマンド] に `-- allow_version_labels_for_unavailable_models=true`を追加します。

モデルをデプロイします。

Elastic Algorithm Service (EAS)ページに移動します。
1. PAIコンソールにログインします。
2. 左側のナビゲーションウィンドウで、[ワークスペース] をクリックします。 [ワークスペース] ページで、管理するワークスペースの名前をクリックします。
3. 左側のナビゲーションウィンドウで、[モデル展開] > [Elastic Algorithm Service (EAS)] を選択します。 Elastic Algorithm Service (EAS) ページが表示されます。
[Elastic Algorithm Service (EAS)] ページで、[サービスのデプロイ] をクリックします。
表示されるページの [シナリオベースのモデル展開] セクションで、[TensorFlow Serving Deployment] をクリックします。

パラメーター	説明
サービス名	サービスの名前です。
デプロイ方法	[構成ファイルの配置] を選択します。
モデル設定	OSSパラメーターを、手順1で準備したマルチモデルファイルが格納されているOSSパスに設定します。例: `oss:// examplebucket/models/tf_serving/` [設定ファイル] パラメーターを、手順1で準備したモデル設定ファイルmodel_config.pbtxtが格納されているOSSパスに設定します。

(オプション) ページの右上隅にある [カスタムデプロイに変換] をクリックします。 [モデルサービス情報] セクションで、[実行するコマンド] のパラメーターを設定します。

次の表に示すパラメーターを追加して、特定の機能を使用します。

パラメーター	必須	説明
-- model_config_file_poll_wait_秒	いいえ	モデル構成ファイルの更新をチェックする頻度。モデルのデプロイ後にファイルを変更する場合は、このパラメーターを設定する必要があります。単位は秒です。サービスは、設定された時間に基づいて、モデル設定ファイルの内容を定期的に読み取ります。たとえば、`-- model_config_file_poll_wait_seconds=30`は、サービスがモデル構成ファイルの内容を30秒ごとに読み取ることを示します。説明サービスが新しい構成ファイルを検出するたびに、新しい構成ファイルの内容だけが実行されます。たとえば、元の構成ファイルにモデルAが含まれているが、モデルAが新しい構成ファイルから削除され、モデルBが新しい構成ファイルに追加された場合、サービスはモデルAを削除し、モデルBを読み込みます。
-- allow_version_labels_for_unavailable_モデル	いいえ	読み込まれていないモデルバージョンにカスタムラベルを割り当てる場合は、このパラメーターをtrueに設定します。デフォルト値：false 例: `-- allow_version_labels_for_unavailable_models=true`

ポート番号を8500に変更し、[構成エディター] セクションに次の構成を追加します。このように、サービスはgRPC要求をサポートします。
デフォルトでは、サービスはHTTPリクエストを受信するためにポート8501でHTTPサーバーまたはRESTサーバーを起動します。 gRPCリクエストを受信するには、ポート番号を8500に変更する必要があります。システムはポート8500でgRPCサーバーを起動します。
```
"metadata": {
    "enable_http2": true
},
"networking": {
    "path": "/"
}
```

パラメーターを設定したら、[デプロイ] をクリックします。

コールサービス

サービスのデプロイ時に設定したポート番号に基づいて、HTTPまたはgRPC要求をサービスに送信できます。

HTTPリクエストの送信

ポート番号を8501に設定した場合、次のいずれかの方法でHTTPリクエストを送信できます。

PAIコンソールの使用

Elastic Algorithm Service (EAS) ページに移動し、サービスを見つけて、[操作] 列の [オンラインデバッグ] をクリックします。 [オンラインデバッグ] タブで、リクエストを送信するパラメーターを設定します。次の表に、主要なパラメーターを示します。

パラメーター

説明

リクエストパラメータオンラインチューニング

次のパラメーターを含むリクエストパスに /v1/models/<model_name>:predictを追加します。

<model_name>: リクエストが単一モデルのサービスに送信された場合、値をCommand to Runで指定した名前に設定します。リクエストがマルチモデルサービスに送信される場合は、モデル構成ファイルで指定した名前に値を設定します。
<version_num>: オプション。このパラメーターを空のままにすると、モデルの最新バージョンが読み込まれます。モデルバージョンは、/v1/models/<model_name>/versions/<version_num>:predict形式で指定できます。

ボディ

リクエストデータ。例：

{"signature_name": "predict_images", "inputs": [[1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0]]}

パラメーターを設定したら、[リクエストの送信] をクリックします。次のような応答が返されます。

Pythonコードの使用

サンプルPythonコード:

urllibインポート要求からの

from urllib import request
import json

# The endpoint of the service. If you do not specify a version number, the latest version is loaded. You can also specify a model version. For more information about the url parameter, see the following table. 
url = '<service_url>/v1/models/<model_name>:predict'

# Create an HTTP request. 
req = request.Request(url, method="POST")
# Replace <test-token> with the token of the service. 
req.add_header('authorization', '<test-token>')
data = {
    'signature_name': 'predict_images',
    'inputs': [[1.0] * 784]
}

# Send the request. 
response = request.urlopen(req, data=json.dumps(data).encode('utf-8')).read()

# View the response. 
response = json.loads(response)
print(response)

次の表に、主要なパラメーターを示します。

パラメーター

説明

url

<service_url>/v1/models/<model_name>:predict形式で値を指定します。

次のパラメータに注意してください。

<service_url>: このパラメーターをサービスのエンドポイントに設定します。エンドポイントを取得するには、次の手順を実行します。[Elastic Algorithm Service (EAS)] ページに移動してサービスを見つけ、[service Type] 列の [Invocation Method] をクリックします。 [パブリックエンドポイント] タブで、サービスのエンドポイントを表示します。
<model_name>: サービスのタイプに基づいてこのパラメーターを設定します。
- 単一モデルサービス
  値を [実行するコマンド] で指定したモデル名に設定します。
- マルチモデルサービス
  モデル構成ファイルで指定したモデル名に値を設定します。
<version_num>: オプション。このパラメーターを空のままにすると、モデルの最新バージョンが読み込まれます。モデルバージョンは、<service_url>/v1/models/<model_name>/versions/<version_num>:predict形式で指定することもできます。

ヘッダー

<test-token> をサービスのトークンに置き換えます。 [パブリックエンドポイント] タブでトークンを表示できます。

gRPCリクエストの送信

ポート番号を8500に設定し、必要な設定を追加すると、gRPC要求をサービスに送信できます。サンプルPythonコード:

import grpc
from tensorflow_serving.apis import predict_pb2
from tensorflow_serving.apis import prediction_service_pb2_grpc
from tensorflow.core.framework import tensor_shape_pb2

# The endpoint of the service. 
host = "tf-serving-multi-grpc-test.166233998075****.cn-hangzhou.pai-eas.aliyuncs.com:80"

name = "<model_name>"
signature_name = "predict_images"
version = <version_num>

# Create a gRPC request. 
shape = tensor_shape_pb2.TensorShapeProto()
dim1 = tensor_shape_pb2.TensorShapeProto.Dim(size=1)
dim2 = tensor_shape_pb2.TensorShapeProto.Dim(size=784)
shape.dim.extend([dim1, dim2])

request = predict_pb2.PredictRequest()
request.model_spec.name = name
request.model_spec.signature_name = signature_name
request.model_spec.version.value = version
request.inputs["images"].tensor_shape.CopyFrom(shape)
request.inputs["images"].float_val.extend([1.0] * 784)
request.inputs["images"].dtype = 1

# Send the request. 
channel = grpc.insecure_channel(host)
stub = prediction_service_pb2_grpc.PredictionServiceStub(channel)
metadata = (("authorization", "<test-token>"),)
response, _ = stub.Predict.with_call(request, metadata=metadata)

print(response)