Triển khai các mô hình tiền đào tạo trên Alibaba Cloud ECS bằng cách sử dụng Transformer và Gradio

Bởi Jawad

Trong blog này, chúng tôi sẽ trình bày cách triển khai nhiều mô hình tiền đào tạo trên một phiên bản Alibaba Cloud ECS duy nhất. Chúng ta sẽ sử dụng các mô hình tiền đào tạo có sẵn trên Hugging Face và Gradio để tương tác với các mô hình. Phương pháp này cung cấp khả năng triển khai ít dùng mã cho các mô hình ML vốn có thể giúp tạo nguyên mẫu và chứng minh khái niệm dễ dàng hơn. Để minh họa, chúng ta sẽ lấy hai ví dụ để triển khai: một ví dụ liên quan đến Xử lý ngôn ngữ tự nhiên (NLP) và ví dụ còn lại liên quan đến Thị giác máy tính. Trước khi tiếp tục, chúng ta hãy nói về Gradio và Hugging Face trước.

Gradio là thư viện Python có thể dùng để xây dựng, tùy chỉnh và chia sẻ các bản minh họa trên web cho bất kỳ mô hình máy học nào. Qua đó, chúng ta có thể tương tác với mô hình bằng trình duyệt web.

Hugging Face là tổ chức nghiên cứu AI cung cấp quyền truy cập vào các công cụ và thư viện nguồn mở để thực hiện các tác vụ Xử lý ngôn ngữ tự nhiên (NLP) và Thị giác máy tính. Một trong những sản phẩm phổ biến nhất của tổ chức này là thư viện "Transformers", cung cấp các mô hình tiền đào tạo cho nhiều ứng dụng, chẳng hạn như phân loại văn bản, dịch ngôn ngữ, trả lời câu hỏi và tạo văn bản, phân loại hình ảnh, v.v.

Bằng cách sử dụng kết hợp Transformers của Hugging Face và Gradio, các mô hình AI trở nên dễ tiếp cận và sử dụng hơn cho nhiều đối tượng hơn, từ nhà phát triển và nhà nghiên cứu đến người dùng cuối, những người vốn có thể không có chuyên môn kỹ thuật về máy học.

Các mô hình tiền đào tạo được sử dụng từ Hugging Face gồm có:

Đối với NLP, Phân loại văn bản (Phân tích cảm xúc): Mô hình DistilBERT
Đối với Thị giác máy tính, Phân loại hình ảnh: Mô hình Vision Transformer (ViT)

Cần lưu ý rằng hai mô hình này được lấy làm ví dụ. Bạn đọc có thể thử các mô hình khác từ Hugging Face ít hoặc nhiều tương đồng hơn.

Chúng ta hãy thảo luận chi tiết về cách sử dụng phiên bản ECS để triển khai từng bước.

1. Khởi động phiên bản Alibaba Cloud ECS: Thông số kỹ thuật của phiên bản phụ thuộc vào mô hình ML. Đối với các ví dụ của chúng ta, tôi sử dụng các thông số kỹ thuật sau đây:

Hình 1: Cấu hình ECS

2. Chuẩn bị thiết lập (cần một lần)

Khi phiên bản ECS bắt đầu chạy, hãy đăng nhập vào phiên bản đó. Sử dụng command prompt:

Cập nhật danh sách gói bằng cách thực thi: apt update
Tạo môi trường ảo (Tôi sử dụng “ai” làm tên của môi trường này):

apt install python3-venv -y
python3 -m venv ai

Kích hoạt môi trường bằng cách sử dụng: source ai/bin/activate
Cài đặt các thư viện python cần thiết sau đây:

pip install transformers
pip install gradio
        pip install torch
         pip install sentencepiece
         pip install sacremoses

3. Mã python để sử dụng các mô hình tiền đào tạo

a) Mô hình NLP: tạo tập tin python “nlp.py” bằng cách nhập nano nlp.py vào thiết bị đầu cuối. Khi trình chỉnh sửa mở ra, hãy sao chép và dán mã sau đây:

from transformers import pipeline
import gradio as gr
pipe = pipeline("text-classification", model="distilbert-base-uncased-finetuned-sst-2-english")
demo = gr.Interface.from_pipeline(pipe)
demo.launch(server_name="0.0.0.0", server_port=8000)

Hình 2 cho thấy mã bên trong trình chỉnh sửa nano. Lưu tập tin này bằng cách nhấn Ctrl+x, chọn “Y” rồi nhấn enter.

Hình 2: Mã để phân tích cảm xúc

b) Mô hình phân loại hình ảnh

Tạo một tập tin python khác bằng cách sử dụng nanoclass.py và sửa đổi mã bằng cách thay đổi loại mô hình, tên, tiêu đề và số cổng, như trong Hình 3. Thoát và lưu tập tin.

Hình 3: Mã để phân loại hình ảnh

4. Chạy mô hình

Để chạy các mô hình này, chúng ta cần mở hai thiết bị đầu cuối trên phiên bản Alibaba Cloud ECS, như trong Hình 4. Đảm bảo đã kích hoạt môi trường ảo python. Thực thi các lệnh sau đây tại Alibaba Cloud ECS CLI trên:

Thiết bị đầu cuối 1: python run nlp.py
Thiết bị đầu cuối hai: python run classify.py

Hình 4: Chạy cả hai mô hình trên cùng một phiên bản ECS bằng hai thiết bị đầu cuối

5. Tương tác với mô hình

Để sử dụng các mô hình đã triển khai, hãy mở trình duyệt trên máy tính của bạn rồi sử dụng địa chỉ IP công cộng của các phiên bản ECS của bạn với số cổng, phân tách bằng dấu hai chấm (:), như minh họa bên dưới trong Hình 5 và Hình 6:

Thay vì sử dụng địa chỉ IP công cộng của ECS, tôi sử dụng tên miền. Bạn cũng có thể sử dụng nếu có tên miền bằng cách liên kết tên miền với IP công cộng của phiên bản ECS.

Mở trình duyệt thứ hai và thay đổi số cổng (9000) để tương tác với mô hình thị giác máy tính. Tải một hình ảnh lên và xem kết quả phân loại.

Hãy thử các hình ảnh khác nhau để xem phản hồi của mô hình.

Bài viết này ban đầu được viết bằng tiếng Anh. Xem bài viết gốc tại đây

Community

Triển khai các mô hình tiền đào tạo trên Alibaba Cloud ECS bằng cách sử dụng Transformer và Gradio

Read previous post:

Read next post:

Regional Content Hub

You may also like

Comments

Regional Content Hub

Related Products

Bastionhost

Managed Service for Grafana

AI Acceleration Solution

Tongyi Qianwen (Qwen)