Triển khai Mô hình ngôn ngữ lớn Alibaba Cloud (Tongy Qianwen) với giao diện đồ họa và dòng lệnh

Bài viết này chia sẻ hai phương pháp để tương tác với mô hình Tongyi Qianwen-7B, một phương pháp sử dụng Giao diện người dùng đồ họa (GUI) và phương pháp còn lại sử dụng Giao diện dòng lệnh (CLI).

Bởi Jawad

Tongyi Qianwen-7B (Qwen-7B) là mô hình quy mô 7 tỷ thông số thuộc dòng mô hình lớn Tongyi Qianwen do Alibaba Cloud phát triển.

Qwen-7B là mô hình ngôn ngữ lớn (LLM) dựa trên Transformer, được đào tạo bằng dữ liệu tiền đào tạo quy mô cực lớn. Các loại dữ liệu tiền đào tạo rất đa dạng và bao quát nhiều lĩnh vực, bao gồm một lượng lớn văn bản trực tuyến, sách chuyên môn, mã, v.v.

Để xem mô tả chi tiết về mô hình này, vui lòng truy cập:

https://www.modelscope.cn/models/qwen/Qwen-7B-Chat/files

Trong bài viết này, chúng ta sẽ khám phá hai phương pháp để tương tác với mô hình Tongyi Qianwen-7B, một phương pháp sử dụng Giao diện người dùng đồ họa (GUI) và phương pháp còn lại sử dụng Giao diện dòng lệnh (CLI).

Phương pháp 1: Triển khai mô hình dựa trên GUI trên Alibaba Cloud:

Xin lưu ý:

Tính đến thời điểm viết bài này, dịch vụ PAI chưa được cung cấp ở tất cả khu vực. Chúng ta sẽ sử dụng khu vực Singapore
Điều kiện tiên quyết là kích hoạt tài khoản Alibaba Cloud với dịch vụ PAI
Cần tạo một không gian làm việc trong PAI. Trong hướng dẫn này, không gian làm việc được gọi là "JawadML", nhưng bạn có thể đặt tên khác cho không gian làm việc của mình.

Các bước:

1. Trên nền tảng PAI, chọn không gian làm việc của bạn và trong phần Triển khai mô hình, chọn Elastic Algorithm Service (EAS), sau đó nhấp vào Triển khai dịch vụ.

2. Chúng tôi sẽ sử dụng mô hình tiền đào tạo từ ModelScope bằng cách sử dụng các cách cấu hình sau đây để chọn các biến hình ảnh và môi trường.

ModelScope là nền tảng Model-as-a-Service (MaaS) mã nguồn mở, do Alibaba Cloud phát triển, đi kèm với hàng trăm mô hình AI, bao gồm các mô hình lớn tiền đào tạo dành cho các nhà phát triển và nhà nghiên cứu toàn cầu.

PAI của Alibaba Cloud cung cấp nhiều tùy chọn khác nhau về phần cứng có thể chạy các mô hình máy học để suy luận. Trong trường hợp này, chúng ta có thể sử dụng GPU có đủ bộ nhớ. Chọn các cách cấu hình sau đây rồi nhấp vào Triển khai.

Thao tác này sẽ bắt đầu triển khai mô hình Qwen-7B tiền đào tạo trên phần cứng đã chọn. Quy trình này có thể mất một chút thời gian, vì vậy nên kiểm tra các sự kiện khác nhau trong quy trình triển khai.

3. Kiểm tra quy trình tạo

Để kiểm tra các sự kiện triển khai và đảm bảo mọi thứ đều ổn, hãy nhấp vào ID/tên dịch vụ (trong trường hợp của chúng ta là qwenmodel) rồi chọn Sự kiện triển khai.

Tương tự, Nhật ký dịch vụ có thể được sử dụng để xem nhật ký liên quan đến cài đặt gói, như minh họa bên dưới:

Sau khi triển khai thành công mô hình, trạng thái dịch vụ sẽ thay đổi thành Đang chạy.

Để sử dụng mô hình nhằm suy luận, hãy nhấp vào Xem ứng dụng web. Thao tác này sẽ mở giao diện GUI của mô hình, có thể sử dụng để thử nghiệm tạo văn bản.

4. Thử nghiệm: Qwen-7B để tạo mã python

Điều quan trọng cần lưu ý là khi sử dụng chế độ GUI, mô hình sẽ xử lý toàn bộ văn bản đầu vào rồi sau đó tạo toàn bộ văn bản.

5. Nâng cấp nếu bạn muốn cải thiện hiệu suất (không bắt buộc)

Bạn có thể thay đổi cấu hình phần cứng nếu cần. Như minh họa bên dưới, cửa sổ cấu hình sẽ mở ra nếu bạn nhấp vào Cập nhật dịch vụ.

Hình bên dưới cho thấy cách thay đổi cấu hình phần cứng của công cụ suy luận. Sau khi thay đổi cấu hình, hãy nhấp vào Triển khai.

Cần mất một chút thời gian để thay đổi cấu hình. Sau khi hoàn tất, Trạng thái dịch vụ sẽ chuyển từ Đang nâng cấp thành Đang chạy.

Phương pháp 2: Triển khai mô hình dựa trên CLI trên Alibaba Cloud:

Chúng ta có thể triển khai Qwen 7-B ở chế độ CLI để tạo phản hồi văn bản đang chạy. Theo đó, chúng ta có thể sử dụng phiên bản Mô hình tương tác PAI (DSW) hoặc ECS. Chúng ta sẽ thảo luận về việc triển khai dựa trên DSW.

1. Trên PAI, chọn Tạo mô hình tương tác (DSW) rồi nhấp vào Tạo phiên bản. Sau đó, cửa sổ cấu hình sẽ mở ra.

Đối với cấu hình này, hãy chọn thông số kỹ thuật GPU và loại hình ảnh thích hợp như minh họa bên dưới.

Nhấp vào Tiếp để đến trang cuối cùng. Chọn, tạo phiên bản dùng để bắt đầu khởi động phiên bản DSW.

Trạng thái ban đầu của phiên bản sẽ cho biết Đang chuẩn bị tài nguyên.

2. Sau khi trạng thái phiên bản chuyển sang đang chạy, hãy nhấp vào tùy chọn Bật ở bên phải. Jupyter Lab sẽ được khởi động.

3. Chúng ta sẽ không sử dụng Jupyter Lab ở đây. Thay vào đó, chúng ta sẽ đến thiết bị đầu cuối để tải mô hình về từ Github rồi triển khai.

Cách tốt nhất là tạo môi trường python trước. Sau khi tạo môi trường ảo, hãy kích hoạt và sử dụng các lệnh sau đây trong thiết bị đầu cuối:

a) git clone https://github.com/QwenLM/Qwen
b) cd Qwen/
c) pip install -r requirements.txt
d) python3 cli_demo.py

Hãy pha một tách cà phê và kiên nhẫn chờ quy trình cài đặt hoàn tất.

Sau khi hoàn thành, bạn sẽ thấy lời nhắc dòng lệnh:

4. Thử nghiệm mô hình:

Để thử nghiệm mô hình, gõ trực tiếp văn bản trên giao diện CLI. Trong trường hợp này, tôi sử dụng lời nhắc: cách tạo môi trường python để cài đặt.

Như minh họa bên dưới, mã python được tạo để tạo và kích hoạt môi trường ảo.

Hãy thử các câu hỏi khác nhau và tận hưởng cùng Qwen. 😀

Bài viết này ban đầu được viết bằng tiếng Anh. Xem bài viết gốc tại đây

Community

Triển khai Mô hình ngôn ngữ lớn Alibaba Cloud (Tongy Qianwen) với giao diện đồ họa và dòng lệnh

Phương pháp 1: Triển khai mô hình dựa trên GUI trên Alibaba Cloud:

Các bước:

Phương pháp 2: Triển khai mô hình dựa trên CLI trên Alibaba Cloud:

Read previous post:

Read next post:

Regional Content Hub

You may also like

Comments

Regional Content Hub

Related Products

Tongyi Qianwen (Qwen)

Platform For AI

Bastionhost

Managed Service for Grafana