独自の ChatGPT を構築する：Alibaba Cloud ECS で Qwen を使用した OLLAMA とオープン WebUI のデプロイ

この記事では、ECS インスタンスで Ollama と Open WebUI を使用して、Alibaba Cloud Open Source Qwen 0.5 モデルをセットアップして実行する方法について説明します。

本記事の作成者：Jawad

概要

このブログ記事では、ECS instance で Ollama と Open WebUI を使用して、Alibaba Cloud Open Source Qwen 0.5 モデルをセットアップして実行する方法について説明します。完了すると、使いやすい Web インターフェースを通じて Qwen モデルの機能を使用できるようになります。ビデオはこちらです。

ステップ 1：適切な Alibaba Cloud ECS インスタンスの選択

今回の簡単なデモでは、ecs.g7.large (2 コア、8 GB RAM) を使用します。ただし、ECS インスタンスを選択する際は、以下のような AI ワークロードの重要な要素を考慮してください。

• CPU/GPU：vCPU 数の多いインスタンスを探し、効率的なモデル計算のために GPU を使用します。

• メモリ：Qwen のようなモデルはメモリ集約的です。今回の例以上のものを使用してください。

• ストレージ：SSD を使用したストレージでは、モデルの読み込みに不可欠な読み書き速度が向上します。

• 帯域幅：Open-WebUI 経由でスムーズな対話をおこなうために十分な帯域幅を確保します。

ステップ 2：ECS インスタンスの起動

以下の手順に従ってインスタンスを作成します。

Alibaba Cloud コンソールにログインします。
ECS コンソールに移動し、[インスタンスの作成] をクリックします。
選択した設定、適切なリージョン、および OS として [Ubuntu Server (Ubuntu 22.04 64 bit UEFI Edition)] を選択します。
パブリックIPを割り当てるようにセキュリティグループのネットワーク設定を構成し、TCPポート22 (SSH) 、11434 (OLLAMA) 、および3000 (Open-WebUI) でのトラフィックを許可するようにセキュリティグループルールを設定します。

ステップ 3：作成した ECS インスタンスにアクセス

SSH を使用して接続します。

ssh root@<作成したインスタンスのパブリック IP アドレス>

ステップ 4：Docker と Docker Compose のインストール

Docker を更新してインストールします。

apt update
apt install docker.io
apt install docker-compose

ステップ 5：OLLAMA および Open-WebUI コンテナーのデプロイ

nano または vi エディターを使用して docker-compose.yml ファイルを作成します。

version: '3.8'

services:
  ollama:
    image: ollama/ollama
    container_name: ollama
    volumes:
      - ollama:/root/.ollama
    ports:
      - "11434:11434"
    restart: always

  open-webui:
    image: ghcr.io/open-webui/open-webui:ollama
    container_name: open-webui
    volumes:
      - ollama:/root/.ollama
      - open-webui:/app/backend/data
    ports:
      - "3000:8080"
    restart: always

volumes:
  ollama:
  open-webui:

以下のコマンドを使用して、目的のディレクトリとサービスのdocker-compose.yml ファイルに上記の内容を保存します。

docker-compose up -d

Ollama コンテナー にアクセスして Qwen 0.5 モデルをプルするには、まず以下のように入力して Ollama コンテナーに入ります。

docker exec -it ollama /bin/bash

コンテナー内で以下のコマンドを実行し、Qwen 0.5 モデルをプルします。

ollama pull qwen:0.5

完了後、Qwen モデルが利用可能であることを確認し、ollama リストを使用します。

ステップ 6：AI プラットフォームとの対話

• ECSパブリックアクセス：パブリック IP とセキュリティグループルールが設定されている場合、誰でも http://<your-instance-public-ip>:3000 に移動して Open-WebUI にアクセスできます。以下に示すように、名前、メール、パスワードを指定してサインアップします。

• モデルの使用：アカウントの作成後、Alibaba Cloud Qwen:0.5b モデルを操作します。

これで、モデルにさまざまなプロンプトを入力して応答を得ることができます。

モデルは以下のような出力を返します。

まとめ

Alibaba Cloud ECS インスタンスで Ollama と Open WebUI を正しくセットアップし、Qwen 0.5 モデルをプルし、Web インターフェースにアクセスして簡単に対話ができるようになりました。このセットアップは、モデルのデプロイが簡単なだけでなく、直感的なインターフェースでユーザーエクスペリエンスも向上します。 Qwen モデルの実験とその機能の探索をお楽しみください！

最後に、より正確な応答が必要な場合は、https://ollama.com/library/qwen から入手できる、高いハードウェア仕様を必要とし、良好な応答が得られる Qwen 4b などの Alibaba Cloud LLM をより適切に使用してください。

ご質問や問題が発生した場合は、コメント欄からお知らせください。

この記事は英語から翻訳されています。元の記事こちらをご参照ください。

Community

独自の ChatGPT を構築する：Alibaba Cloud ECS で Qwen を使用した OLLAMA とオープン WebUI のデプロイ

概要

ステップ 1：適切な Alibaba Cloud ECS インスタンスの選択

ステップ 2：ECS インスタンスの起動

ステップ 3：作成した ECS インスタンスにアクセス

ステップ 4：Docker と Docker Compose のインストール

ステップ 5：OLLAMA および Open-WebUI コンテナーのデプロイ

ステップ 6：AI プラットフォームとの対話

まとめ

Read previous post:

Read next post:

Regional Content Hub

You may also like

Comments

Regional Content Hub

Related Products

Tongyi Qianwen (Qwen)

AI Acceleration Solution

Alibaba Cloud for Generative AI

Platform For AI