Menyebarkan Model Pralatih di ECS Alibaba Cloud Menggunakan Transformers dan Gradio

Dalam blog ini, kami akan menunjukkan cara menyebarkan beberapa model pralatih di satu instans ECS Alibaba Cloud. Kami akan menggunakan model pralatih yang tersedia di Hugging Face dan Gradio untuk berinteraksi dengan model tersebut. Pendekatan ini menyediakan penyebaran kode rendah untuk model ML yang dapat berguna untuk membuat prototipe dan bukti konsep. Untuk tujuan demonstrasi, kami mengambil dua contoh untuk penyebaran: satu terkait dengan Pemrosesan Bahasa Alami (NLP) dan lainnya terkait dengan Visi Komputer. Sebelum melanjutkan, kami akan bicara tentang Gradio dan Hugging Face terlebih dahulu.

Gradio adalah pustaka Python yang dapat digunakan untuk membangun, menyesuaikan, dan berbagi demo berbasis web untuk setiap model pemelajaran mesin. Ini memungkinkan kita berinteraksi dengan model menggunakan browser web.

Hugging Face adalah organisasi riset AI yang menyediakan akses ke alat sumber terbuka dan pustaka untuk Pemrosesan Bahasa Alami (NLP) dan tugas visi komputer. Salah satu kreasi yang paling terkenal adalah pustaka "Transformers", yang menyediakan model pralatih untuk berbagai macam aplikasi, seperti klasifikasi teks, penerjemahan bahasa, penjawab pertanyaan, serta pembuatan teks, klasifikasi gambar, dll.

Dengan menggunakan Hugging Face Transformers dan Gradio bersama-sama, model AI bisa menjadi lebih dapat diakses dan dapat digunakan untuk audiens yang lebih luas, dari pengembang dan peneliti hingga pengguna akhir yang mungkin tidak memiliki keahlian teknis dalam pemelajaran mesin.

Model pralatih yang digunakan dari Hugging Face adalah:

Untuk NLP, Klasifikasi Teks (Analisis Sentimen): Model DistilBERT
Untuk visi komputer, klasifikasi gambar: model Vision Transformer (ViT)

Perlu disebutkan juga bahwa kedua model ini diambil sebagai contoh. Pembaca dapat mencoba model lain dari Hugging Face dengan cara yang kurang lebih serupa.

Mari kita bahas rincian penggunaan instans ECS untuk penyebaran langkah demi langkah.

1. Putar instans ECS Alibaba Cloud: Spesifikasi instans tergantung model ML. Untuk contoh kami, saya menggunakan spesifikasi berikut:

Gbr-1: Konfigurasi ECS

2. Menyiapkan Penyiapan (diperlukan satu kali)

Setelah instans ECS mulai berjalan, masuklah ke instans tersebut. Menggunakan prompt perintah:

Perbarui daftar paket dengan menjalankan: apt update
Buat lingkungan virtual (saya menggunakan "ai" sebagai nama lingkungan):

apt install python3-venv -y
python3 -m venv ai

Aktifkan lingkungan menggunakan: 'source ai/bin/activate'
Pasang pustaka python yang diperlukan berikut:

pip instal transformers
pip install gradio
        pip install torch
         pip install sentencepiece
         pip install sacremoses

3. Kode Python untuk menggunakan model pralatih

a) Model NLP: kuat file python "nlp.py" dengan mengetik nano nlp.py di terminal. Setelah editor terbuka, salin dan tempel kode berikut:

from transformers import pipeline
import gradio as gr
pipe = pipeline("text-classification", model="distilbert-base-uncased-finetuned-sst-2-english")
demo = gr.Interface.from_pipeline(pipe)
demo.launch(server_name="0.0.0.0", server_port=8000)

Gbr-2 menunjukkan kode di dalam editor nano. Simpan file dengan menekan Ctrl+x, pilih “Y”, lalu tekan Enter.

Gbr-2: Kode untuk Analisis Sentimen

b) Model Klasifikasi Gambar

Buat file python lain menggunakan 'nano classify.py' dan ubah kode dengan mengubah jenis model, nama, judul, dan nomor port, seperti yang ditunjukkan dalam Gbr-3. Keluar dan simpan file.

Gbr-3: Kode Untuk Klasifikasi Gambar

4. Jalankan model

Untuk menjalankan model ini, kita harus membuka dua terminal di instans ECS Alibaba Cloud, seperti yang ditunjukkan dalam Gbr-4. Pastikan lingkungan virtual python diaktifkan. Jalankan CLI ECS Alibaba Cloud berikut di:

Terminal satu: python run nlp.py
Terminal dua: python run classify.py

Fig-4: Menjalankan kedua model di instans ECS yang sama menggunakan dua terminal

5. Berinteraksi dengan model

Untuk menggunakan model yang disebarkan, buka browser di PC Anda dan gunakan alamat IP publik dari instans ECS Anda dengan nomor port, dipisahkan oleh titik dua (:), seperti yang ditunjukkan di Gbr-5 dan Gbr-6 di bawah ini:

Alih-alih menggunakan alamat IP publik ECS, saya menggunakan nama domain. Anda juga dapat melakukannya jika memiliki nama domain dengan mengaitkannya dengan IP publik instans ECS Anda.

Buka browser kedua, dan ubah nomor port (9000) untuk berinteraksi dengan model visi komputer. Unggah gambar dan lihat hasil klasifikasinya.

Coba gambar yang berbeda dan lihat respons model tersebut.

Artikel ini aslinya ditulis dalam bahasa Inggris. Lihat artikel asli di sini

Community

Menyebarkan Model Pralatih di ECS Alibaba Cloud Menggunakan Transformers dan Gradio

Read previous post:

Read next post:

Regional Content Hub

You may also like

Comments

Regional Content Hub

Related Products

AI Acceleration Solution

Tongyi Qianwen (Qwen)

Alibaba Cloud for Generative AI

Platform For AI