Bởi Jawad
Trong bài đăng trên blog này, chúng ta sẽ khám phá cách thiết lập và chạy mô hình Alibaba Cloud Open Source Qwen 0.5 bằng Ollama và Open WebUI trên phiên bản ECS. Sau khi hoàn tất, chúng ta có thể sử dụng các chức năng của mô hình Qwen thông qua giao diện web thân thiện với người dùng. Sau đây là video:
Đối với bản minh họa đơn giản này, tôi sử dụng ecs.g7.large (2 lõi, RAM 8 GB). Tuy nhiên, khi chọn phiên bản ECS, hãy cân nhắc những yếu tố chính sau đây cho khối lượng công việc AI:
• CPU/GPU: Tìm các phiên bản có số lượng vCPU cao hơn và sử dụng GPU để tính toán mô hình hiệu quả.
• Bộ nhớ: Các mô hình như Qwen có thể chiếm nhiều bộ nhớ; hãy dùng bộ nhớ lớn tôi mức đang sử dụng ở đây.
• Bộ lưu trữ: Bộ lưu trữ dựa trên SSD cải thiện tốc độ đọc/ghi, yếu tố quan trọng để tải mô hình.
• Băng thông: Đảm bảo có đủ băng thông để tương tác mượt mà thông qua Open-WebUI.
Làm theo các bước sau đây để tạo phiên bản của bạn:
Sử dụng SSH để kết nối:
ssh root@<your-instance-public-ip>Cập nhật và cài đặt Docker:
apt update
apt install docker.io
apt install docker-composeTạo tập tin docker-compose.yml bằng trình soạn thảo nano hoặc vi:
version: '3.8'
services:
ollama:
image: ollama/ollama
container_name: ollama
volumes:
- ollama:/root/.ollama
ports:
- "11434:11434"
restart: always
open-webui:
image: ghcr.io/open-webui/open-webui:ollama
container_name: open-webui
volumes:
- ollama:/root/.ollama
- open-webui:/app/backend/data
ports:
- "3000:8080"
restart: always
volumes:
ollama:
open-webui:Lưu nội dung bên trên vào tập tin có tên docker-compose.yml trong thư mục và dịch vụ mong muốn của bạn bằng cách sử dụng:
docker-compose up -d
Để truy cập Ollama Container và kéo mô hình Qwen 0.5, trước tiên hãy vào vùng chứa Ollama bằng cách nhập lệnh sau đây:
docker exec -it ollama /bin/bashSau khi vào bên trong vùng chứa, hãy chạy lệnh sau đây để kéo mô hình Qwen 0.5:
ollama pull qwen:0.5Sau khi hoàn tất, hãy sử dụng danh sách ollama để đảm bảo mô hình Qwen chạy bình thường.
• Quyền truy cập công khai ECS: Sau khi áp dụng các quy tắc về IP công khai và nhóm bảo mật, bất kỳ ai cũng có thể truy cập Open-WebUI của bạn bằng cách điều hướng đến http://<your-instance-public-ip>:3000. Đăng ký bằng cách cung cấp Tên, Email và Mật khẩu như minh họa bên dưới:
• Sử dụng mô hình: Sau khi tạo tài khoản, hãy tương tác với mô hình Alibaba Cloud Qwen:0.5b:
Giờ thì chúng ta có thể cung cấp các gợi ý khác nhau cho mô hình để nhận phản hồi:
Sau đây là kết quả của mô hình:
Bây giờ, bạn đã thiết lập thành công Ollama và Open WebUI trên phiên bản Alibaba Cloud ECS của mình, kéo mô hình Qwen 0.5 và truy cập giao diện web để dễ dàng tương tác. Cách thiết lập này không chỉ giúp triển khai mô hình đơn giản hơn, mà còn cải thiện trải nghiệm của người dùng với giao diện trực quan. Hãy thử nghiệm mô hình Qwen và khám phá các chức năng nhé!
Cuối cùng, cần lưu ý rằng nếu bạn cần phản hồi chính xác hơn thì tốt hơn nên sử dụng LLM Alibaba Cloud như Qwen 4b, v.v. có tại https://ollama.com/library/qwen, có thể sẽ cần thông số kỹ thuật phần cứng cao để nhận phản hồi tốt hơn.
Nếu bạn có bất kỳ câu hỏi hoặc gặp phải vấn đề nào, vui lòng để lại bình luận bên dưới.
Bài viết này được dịch từ tiếng Anh, xem bài viết gốc tại đây.
나만의 ChatGPT 구축하기: Alibaba Cloud ECS에서 Qwen을 사용하여 OLLAMA 및 Open-WebUI 배포하기
独自の ChatGPT を構築する：Alibaba Cloud ECS で Qwen を使用した OLLAMA とオープン WebUI のデプロイ
80 posts | 3 followers
FollowRegional Content Hub - August 5, 2024
Regional Content Hub - August 29, 2024
Regional Content Hub - May 13, 2024
Regional Content Hub - August 29, 2024
Regional Content Hub - July 22, 2024
Nguyen Phuc Khang - July 13, 2024
80 posts | 3 followers
Follow
Tongyi Qianwen (Qwen)
Top-performance foundation models from Alibaba Cloud
Learn More
Bastionhost
A unified, efficient, and secure platform that provides cloud-based O&M, access control, and operation audit.
Learn More
Managed Service for Grafana
Managed Service for Grafana displays a large amount of data in real time to provide an overview of business and O&M monitoring.
Learn More
AI Acceleration Solution
Accelerate AI-driven business and AI model training and inference with Alibaba Cloud GPU technology
Learn MoreMore Posts by Regional Content Hub