Platform For AI:カスタムイメージを使用したモデルサービスのデプロイ

カスタムイメージの準備

イメージサービスの開発

複数の方法を使用してイメージサービスを開発できます。 たとえば、Flaskを使用して、サービスアクセス用のwebサーバーを起動できます。 次のサンプルコードは、コードファイルがapp.pyである単純なサービスを示しています。

from flask import Flask

app = Flask(__name__)

@app.route('/hello/model')
def hello_world():
    return 'Hello World'


if __name__ == '__main__':
    app.run(host='0.0.0.0', port=8000)

イメージを作成する

次のセクションでは、Dockerをインストールしてオンプレミスマシンでイメージをビルドする方法について説明します。 Alibaba Cloud Container Registryを使用してイメージを作成することもできます。 コンテナーイメージの作成方法の詳細については、「Container Registryとは」をご参照ください。

1. Dockerfileを書き込みます。

   Dockerfileは、イメージを作成するために必要な手順と説明を含むテキストドキュメントです。 app.pyファイルと同じレベルでDockerfileを作成する必要があります。 Dockerfileのディレクトリ構造は次のとおりです。

   flask_app
     ├── app.py
     └── Dockerfile    

   次のDockerfileでは、ビルドするイメージにapp.pyモデルサービスファイルがパッケージ化されています。 モデルサービスファイルをObject Storage service (OSS) 、file Storage NAS (NAS) 、またはGitリポジトリに保存し、実行時にモデルサービスファイルをサービスインスタンスにマウントすることもできます。 詳細については、「ストレージのサービスへのマウント」をご参照ください。

   # Specify the desired image.
   FROM alibaba-cloud-linux-3-registry.cn-hangzhou.cr.aliyuncs.com/alinux3/python
   # Run the following commands in the container:
   RUN yum -y install python3-pip
   RUN pip3 install flask 
   # Create a folder named app.
   RUN mkdir -p /app
   # Go to the app directory.
   RUN cd /app
   # Copy the app.py file in the current directory of the Linux system to the /app directory of the container. 
   COPY app.py /app/
   # Expose port 8000.
   EXPOSE 8000
   # Set the app folder as a working directory.
   WORKDIR /app
   
   # Run the following command when the container is started:
   CMD ["flask", "run", "--host", "0.0.0.0"]

2. オンプレミスのマシンでイメージを構築します。 CLIで、flask_appディレクトリに移動し、次のコマンドを実行してflask-appという名前のDockerイメージをビルドします。

   docker build -t flask-app . 

イメージリポジトリへのイメージのプッシュ

EASは展開のためにイメージリポジトリからイメージを取得します。 次のセクションでは、オンプレミスのコンピューターで構築したイメージをイメージリポジトリにプッシュする方法について説明します。

1. docker imagesコマンドを実行して、ビルドしたイメージのIDを取得します。

2. イメージリポジトリを選択します。 この例では、Container Registryイメージリポジトリが使用されています。 リポジトリのアドレスはcrpi-*** .cn-hangzhou.personal.cr.aliyuncs.com/***/*** です。 異なるイメージリポジトリには、EASでの展開中のネットワーク構成の要件が異なります。 詳細については、「イメージリポジトリの選択」をご参照ください。

3. 次のコマンドを実行して、イメージをContainer Registryイメージリポジトリにプッシュします。

   docker login --username=<Username>  crpi-***.cn-hangzhou.personal.cr.aliyuncs.com
   docker tag <Image ID> crpi-***.cn-hangzhou.personal.cr.aliyuncs.com/***/***:flask-app
   docker push crpi-***.cn-hangzhou.personal.cr.aliyuncs.com/***/***:flask-app

   画像アドレスはcrpi-*** .cn-hangzhou.personal.cr.aliyuncs.com/***/***:flask-appです。

イメージリポジトリの選択

EASは、画像リポジトリごとに異なるネットワーク構成を必要とします。

• Container Registryリポジトリ:

  • Container Registry Personal Edition: 各リージョンに統合された内部エンドポイントを提供します。 デプロイするモデルサービスがContainer Registry Personal Editionイメージが存在するリージョンに存在する場合、イメージの内部エンドポイントを使用してモデルサービスをデプロイできます。 それ以外の場合は、イメージのパブリックエンドポイントを使用してモデルサービスをデプロイする必要があります。

  • Container Registry Enterprise Edition: Container Registry Enterprise Editionイメージには、仮想プライベートクラウド (VPC) 内でのみアクセスできます。 EASがイメージをプルできるようにするには、EASを対応するVPCに接続する必要があります。 詳細は、「VPCの設定」をご参照ください。

• 自作イメージリポジトリ:

  • Harborを使用してVPCに自己管理イメージリポジトリを作成する場合、イメージリポジトリにはVPC内でのみアクセスできます。 Container Registry Enterprise Editionイメージの使用と同様に、EASをVPCに接続する必要があります。 詳細は、「VPCの設定」をご参照ください。

イメージリポジトリへのアクセスの認証

• モデルサービスのデプロイに同じアカウントでContainer Registryイメージリポジトリを使用する場合は、ユーザー名とパスワードを入力する必要はありません。 EASを使用すると、パスワードを使用せずにサービス間で画像をプルできます。

• 自己構築イメージリポジトリにアクセス資格情報としてユーザー名とパスワードが必要な場合は、モデルサービスをデプロイするときにdockerAuthパラメーターを設定する必要があります。 詳細については、「モデルサービスのデプロイ」をご参照ください。

モデルサービスのデプロイ

カスタムイメージを使用してモデルサービスをデプロイするために必要な情報を取得します。

• イメージリポジトリのアドレス。 例: crpi-*** -vpc.cn-hangzhou.personal.cr.aliyuncs.com/***:flask-app

• イメージに基づいてコンテナを起動するコマンド。 例: python3 app.py

• サービスがリッスンするコンテナーのポート番号。 例: 8000。

  説明

  ポート番号はオプションです。 たとえば、サービスがEASゲートウェイではなくコンテナ内のメッセージキューからの要求を受け入れるようにする場合、ポート番号を指定する必要はありません。

付録: サンプルサービス設定

gRPCプロトコルの使用

{
  "name": "image_test",
  "containers": [
    {
      "image": "registry-vpc.cn-shanghai.aliyuncs.com/xxx/yyy:zzz",
      "command": "python app.py",
      "port": 8000
    }
  ],
  "metadata": {
    "instance": 1,
    "enable_grpc": true
  }
}

関連ドキュメント

• カスタムイメージを使用してモデルサービスをデプロイする場合、ヘルスチェック機能がサポートされます。 詳細については、「ヘルスチェック機能の設定」をご参照ください。

• EASでのデプロイの仕組みについては、「概要」をご参照ください。

• モデルサービスをデプロイした後、自動スケーリング機能を使用して、ビジネスのワークロードの変動を処理できます。 詳細については、「自動スケーリング」をご参照ください。