Bangun ChatGPT Anda sendiri: Sebarkan OLLAMA dan Open-WebUI dengan Qwen di Alibaba Cloud ECS

Oleh Jawad

Pendahuluan

Dalam posting blog ini, kita akan menjelajahi cara menyiapkan dan menjalankan model Qwen 0.5 Sumber Terbuka Alibaba Cloud menggunakan Ollama dan Open WebUI di instans ECS. Setelah selesai, kita akan dapat menggunakan kemampuan model Qwen melalui antarmuka web yang ramah pengguna. Berikut adalah videonya:

Langkah 1: Memilih Instans Alibaba Cloud ECS yang Tepat

Untuk demo sederhana ini, saya menggunakan ecs.g7.large (2 Core, RAM 8 GB). Namun, ketika memilih instans ECS, pertimbangkan faktor utama untuk beban kerja AI ini:

• CPU/GPU: Cari instans dengan jumlah vCPU yang lebih tinggi dan gunakan GPU untuk komputasi model yang efisien.

• Memory: Model seperti Qwen bisa jadi perlu memori yang besar; cari yang lebih besar dari yang saya gunakan di sini.

• Penyimpanan: Penyimpanan berbasis SSD akan meningkatkan kecepatan baca/tulis yang sangat penting untuk pemuatan model.

• Bandwidth: Pastikan bandwidth yang memadai agar interaksi melalui Open-WebUI berjalan lancar.

Langkah 2: Mengaktifkan Instans ECS

Ikuti langkah-langkah ini untuk membuat instans Anda:

Masuk ke Konsol Alibaba Cloud.*
Buka konsol ECS dan klik "Create Instance" (Buat Instans).
Pilih konfigusasi pilihan, wilayah yang sesuai, dan Ubuntu Server (Ubuntu 22.04 64 bit UEFI Edition) sebagai OS.
Konfigurasikan pengaturan jaringan Security Group untuk menetapkan IP publik dan atur aturan grup keamanan untuk mengizinkan lalu lintas di port TCP 22 (SSH), 11434 (OLLAMA), dan 3000 (Open-WebUI).

Langkah 3: Mengakses Instans ECS Anda

Gunakan SSH untuk terhubung:

ssh root@<your-instance-public-ip>

Langkah 4: Menginstal Docker dan Docker Compose

Perbarui dan instal Docker:

apt update
apt install docker.io
apt install docker-compose

Step 5: Menyebarkan kontainer OLLAMA & Open-WebUI

Buat file docker-compose.yml menggunakan editor nano atau vi:

version: '3.8'

services:
  ollama:
    image: ollama/ollama
    container_name: ollama
    volumes:
      - ollama:/root/.ollama
    ports:
      - "11434:11434"
    restart: always

  open-webui:
    image: ghcr.io/open-webui/open-webui:ollama
    container_name: open-webui
    volumes:
      - ollama:/root/.ollama
      - open-webui:/app/backend/data
    ports:
      - "3000:8080"
    restart: always

volumes:
  ollama:
  open-webui:

Simpan ini di atas ke dalam file bernama docker-compose.yml di direktori dan layanan yang Anda inginkan menggunakan:

docker-compose up -d

Untuk mengakses Ollama Container dan menarik model Qwen 0.5, masuk dahulu ke kontainer Ollama dengan mengetikkan yang berikut:

docker exec -it ollama /bin/bash

Setelah berada di dalam kontainer, jalankan perintah berikut untuk menarik model Qwen 0.5:

ollama pull qwen:0.5

Setelah selesai, pastikan model Qwen tersedia, gunakan daftar ollama.

Langkah 6: Berinteraksi dengan Platform AI Anda

• Akses Publik ECS: Dengan IP publik dan aturan grup keamanan tersedia, siapa pun dapat mengakses Open-WebUI Anda dengan membuka http://:3000`. Gunakan pendaftaran dengan memasukkan Nama, Email, dan Kata Sandi seperti yang ditunjukkan di bawah ini:

• Penggunaan Model: Setelah membuat akun, berinteraksilah dengan model Alibaba Cloud Qwen:0.5b:

Sekarang kita dapat menyediakan perintah yang berbeda kepada model untuk mendapatkan jawaban:

Berikut adalah output model tersebut:

Kesimpulan

Anda sekarang berhasil menyiapkan Ollama dan Open WebUI di instans Alibaba Cloud ECS Anda, menarik model Qwen 0.5, dan mengakses antarmuka web untuk interaksi yang mudah. Penyiapan ini tidak hanya menyederhanakan penyebaran model tetapi juga meningkatkan pengalaman pengguna dengan antarmuka yang intuitif. Nikmati eksperimen dengan model Qwen dan menjelajahi kemampuannya!

Terakhir, memang tepat untuk menyebutkan bahwa jika Anda perlu respons yang lebih akurat, maka lebih baik gunakan LLM Alibaba Cloud seperti Qwen 4b dll. yang tersedia di https://ollama.com/library/qwen yang mungkin membutuhkan spesifikasi perangkat keras yang lebih tinggi untuk respons yang lebih baik.

Jika Anda punya pertanyaan atau mengalami masalah apa pun, jangan ragu untuk meninggalkan komentar di bawah ini.

Artikel ini diterjemahkan dari bahasa Inggris, lihat artikel aslinya di sini.

Community

Bangun ChatGPT Anda sendiri: Sebarkan OLLAMA dan Open-WebUI dengan Qwen di Alibaba Cloud ECS

Pendahuluan

Langkah 1: Memilih Instans Alibaba Cloud ECS yang Tepat

Langkah 2: Mengaktifkan Instans ECS

Langkah 3: Mengakses Instans ECS Anda

Langkah 4: Menginstal Docker dan Docker Compose

Step 5: Menyebarkan kontainer OLLAMA & Open-WebUI

Langkah 6: Berinteraksi dengan Platform AI Anda

Kesimpulan

Read previous post:

Read next post:

Regional Content Hub

You may also like

Comments

Regional Content Hub

Related Products

Tongyi Qianwen (Qwen)

Alibaba Cloud for Generative AI

Alibaba Cloud Model Studio

AI Acceleration Solution