Xây dựng ChatGPT riêng của bạn: Triển khai OLLAMA và Open-WebUI với Qwen trên Alibaba Cloud ECS

Bài viết này khám phá cách thiết lập và chạy mô hình Alibaba Cloud Open Source Qwen 0.5 bằng Ollama và Open WebUI trên phiên bản ECS.

Bởi Jawad

Giới thiệu

Trong bài đăng trên blog này, chúng ta sẽ khám phá cách thiết lập và chạy mô hình Alibaba Cloud Open Source Qwen 0.5 bằng Ollama và Open WebUI trên phiên bản ECS. Sau khi hoàn tất, chúng ta có thể sử dụng các chức năng của mô hình Qwen thông qua giao diện web thân thiện với người dùng. Sau đây là video:

Bước 1: Chọn đúng phiên bản Alibaba Cloud ECS

Đối với bản minh họa đơn giản này, tôi sử dụng ecs.g7.large (2 lõi, RAM 8 GB). Tuy nhiên, khi chọn phiên bản ECS, hãy cân nhắc những yếu tố chính sau đây cho khối lượng công việc AI:

• CPU/GPU: Tìm các phiên bản có số lượng vCPU cao hơn và sử dụng GPU để tính toán mô hình hiệu quả.

• Bộ nhớ: Các mô hình như Qwen có thể chiếm nhiều bộ nhớ; hãy dùng bộ nhớ lớn tôi mức đang sử dụng ở đây.

• Bộ lưu trữ: Bộ lưu trữ dựa trên SSD cải thiện tốc độ đọc/ghi, yếu tố quan trọng để tải mô hình.

• Băng thông: Đảm bảo có đủ băng thông để tương tác mượt mà thông qua Open-WebUI.

Bước 2: Khởi động phiên bản ECS

Làm theo các bước sau đây để tạo phiên bản của bạn:

Đăng nhập vào Alibaba Cloud Console.
Điều hướng đến bảng điều khiển ECS và nhấp vào "Create Instance".
Chọn cấu hình đã chọn, vùng phù hợp và Ubuntu Server (Ubuntu 22.04 64 bit UEFI Edition) làm hệ điều hành.
Cấu hình cài đặt mạng Nhóm bảo mật để chỉ định IP công khai và đặt các quy tắc nhóm bảo mật để cho phép lưu lượng truy cập trên các cổng TCP 22 (SSH), 11434 (OLLAMA) và 3000 (Open-WebUI).

Bước 3: Truy cập vào phiên bản ECS của bạn

Sử dụng SSH để kết nối:

ssh root@<your-instance-public-ip>

Bước 4: Cài đặt Docker và Docker Compose

Cập nhật và cài đặt Docker:

apt update
apt install docker.io
apt install docker-compose

Bước 5: Triển khai vùng chứa OLLAMA và Open-WebUI

Tạo tập tin docker-compose.yml bằng trình soạn thảo nano hoặc vi:

version: '3.8'

services:
  ollama:
    image: ollama/ollama
    container_name: ollama
    volumes:
      - ollama:/root/.ollama
    ports:
      - "11434:11434"
    restart: always

  open-webui:
    image: ghcr.io/open-webui/open-webui:ollama
    container_name: open-webui
    volumes:
      - ollama:/root/.ollama
      - open-webui:/app/backend/data
    ports:
      - "3000:8080"
    restart: always

volumes:
  ollama:
  open-webui:

Lưu nội dung bên trên vào tập tin có tên docker-compose.yml trong thư mục và dịch vụ mong muốn của bạn bằng cách sử dụng:

docker-compose up -d

Để truy cập Ollama Container và kéo mô hình Qwen 0.5, trước tiên hãy vào vùng chứa Ollama bằng cách nhập lệnh sau đây:

docker exec -it ollama /bin/bash

Sau khi vào bên trong vùng chứa, hãy chạy lệnh sau đây để kéo mô hình Qwen 0.5:

ollama pull qwen:0.5

Sau khi hoàn tất, hãy sử dụng danh sách ollama để đảm bảo mô hình Qwen chạy bình thường.

Bước 6: Tương tác với Nền tảng AI của bạn

• Quyền truy cập công khai ECS: Sau khi áp dụng các quy tắc về IP công khai và nhóm bảo mật, bất kỳ ai cũng có thể truy cập Open-WebUI của bạn bằng cách điều hướng đến http://<your-instance-public-ip>:3000. Đăng ký bằng cách cung cấp Tên, Email và Mật khẩu như minh họa bên dưới:

• Sử dụng mô hình: Sau khi tạo tài khoản, hãy tương tác với mô hình Alibaba Cloud Qwen:0.5b:

Giờ thì chúng ta có thể cung cấp các gợi ý khác nhau cho mô hình để nhận phản hồi:

Sau đây là kết quả của mô hình:

Kết luận

Bây giờ, bạn đã thiết lập thành công Ollama và Open WebUI trên phiên bản Alibaba Cloud ECS của mình, kéo mô hình Qwen 0.5 và truy cập giao diện web để dễ dàng tương tác. Cách thiết lập này không chỉ giúp triển khai mô hình đơn giản hơn, mà còn cải thiện trải nghiệm của người dùng với giao diện trực quan. Hãy thử nghiệm mô hình Qwen và khám phá các chức năng nhé!

Cuối cùng, cần lưu ý rằng nếu bạn cần phản hồi chính xác hơn thì tốt hơn nên sử dụng LLM Alibaba Cloud như Qwen 4b, v.v. có tại https://ollama.com/library/qwen, có thể sẽ cần thông số kỹ thuật phần cứng cao để nhận phản hồi tốt hơn.

Nếu bạn có bất kỳ câu hỏi hoặc gặp phải vấn đề nào, vui lòng để lại bình luận bên dưới.

Bài viết này được dịch từ tiếng Anh, xem bài viết gốc tại đây.

Community

Xây dựng ChatGPT riêng của bạn: Triển khai OLLAMA và Open-WebUI với Qwen trên Alibaba Cloud ECS

Giới thiệu

Bước 1: Chọn đúng phiên bản Alibaba Cloud ECS

Bước 2: Khởi động phiên bản ECS

Bước 3: Truy cập vào phiên bản ECS của bạn

Bước 4: Cài đặt Docker và Docker Compose

Bước 5: Triển khai vùng chứa OLLAMA và Open-WebUI

Bước 6: Tương tác với Nền tảng AI của bạn

Kết luận

Read previous post:

Read next post:

Regional Content Hub

You may also like

Comments

Regional Content Hub

Related Products

Tongyi Qianwen (Qwen)

Bastionhost

Managed Service for Grafana

AI Acceleration Solution