Community

Blog Events Webinars Tutorials Forum
  1. Blog
  2. Events
  3. Webinars
  4. Tutorials
  5. Forum
Create Account
×
Community Blog Langkah-langkah Penggunaan Llama2 sebagai Large Language Model (LLM) dan VectorDB AnalyticDB di Alibaba Cloud

Langkah-langkah Penggunaan Llama2 sebagai Large Language Model (LLM) dan VectorDB AnalyticDB di Alibaba Cloud

Pemanfaatan Generative AI untuk bisnis dengan solusi cloud yang lebih efisien dan cost effective

By Aaron Handoko, Solution Architect Alibaba Cloud Indonesia

Getting Started

1) Login ke dalam akun Alibaba Cloud
2) Akses Compute Nest melalui link berikut https://computenest.console.aliyun.com/ . Link ini akan membawa anda menuju laman compute nest seperti pada gambar di bawah ini. Klik tombol “Official Use” pada service “llama2 adbpg”

Annotation_2023_08_11_155016

download_2

3) Pada laman ini configure Region, Instance username dan password untuk ECS (server) serta username dan password untuk AnalyticDB for Postgres (database).

Berikut adalah contoh konfigurasi instance pada compute nest.
12

Mesin ECS Instance dapat menggunakan region Indonesia, NVIDIA P100, A10 dan T4 dan password Instance harap menggunakan “!” sebagai symbol

Region : Indonesia
ECS Payment Method : Pay as You Go
ECS Instance Type : 2vCPU NVIDIA P100
Instance Password : AIGC123!
AnalyticDB PostgresSQL : demo_aigc
Database Password : AIGC123!

Setelah semua instance sudah terkonfigurasi, klik “Next: Confirm Order” dan “Create Now”

4) Menunggu beberapa saat agar semua instance dapat ter-deploy dengan baik

Jika terjadi Deployment Failed

  1. Instance not supported: Pastikan mesin ECS memiliki NVIDIA A10
  2. Account Name Validation: Pastikan nama username pada AnalyticDB sudah diubah

5) Setelah terdeploy, masuk ke dalam instance dengan mengklik instance namenya. Kemudian Anda dapat melakukan testing LLM dengan mengakses Endpoint yang dihasilkan seperti pada gambar di bawah ini.

Annotation_2023_08_11_154555

Annotation_2023_08_11_154752

6) Berikut tampilan dari sample User Interface Demo. Anda dapat mengupload file pdf sebagai dataset dan menuliskan pertanyaan berdasarkan dataset tersebut.

download_5

Customized UI pada LLM

1) Menghubungkan menggunakan Workbench
a） Pada console compute nest (step 5), pilih tab Resource. Kemudian klik instance Elastic Compute Service yang sudah terbuat.

Annotation_2023_08_11_152147

b）Kemudian pilih Security Groups dan klik security group name yang ada.

Annotation_2023_08_11_155429

c） Kemudian pilih Security Groups dan klik security group name yang ada. Pada laman dibawah ini klik “Add Rule”.
1

d）Masukkan rule SSH port 22, seperti pada rule di bawah ini.
2

e）Kemudian kembali menuju halaman awal instance dan klik “Connect”, lalu connect via Workbench.
3
4

f）Laman web berada pada root dan Anda dapat mengubah UI dari web dengan mengedit document __init__.py pada folder src.

5

2) Menghubungkan menggunakan Workbench
a）Install Visual Studio Code here
b）Lakukan langkah 1a-d.
c）Pada console ECS klik pada SSH Key Pairs kemudian pilih “Create SSH Key Pair”. Simpan .pam file yang terbuat.
d）Setelah terbuat, pada sebelah kanan klik tombol bind untuk menghubungkan key dengan instance ECS seperti pada gambar di bawah ini.

6
7

e）Membuka Visual Studio Code kemudian di bagian kiri pilih Extensions. Kemudian install Remote – SSH untuk dapat menghubungkan Visual Studio ke ECS.
8

f）Setelah berhasil terinstall, pada bagian kiri bawah klik tombol ssh dan kemudian pilih Open SSH Configuration File.

10

g）Kemudian bukalah config file. Di dalam config file isilah dengan command berikut.

Host <nama_host>
HostName <eip_ecs_instance>
User root
IdentityFile <path_to_pemfile>

=> Nama Host, dapat berupa apa saja

=> IP pada ECS (didapat dari ECS Instance Console)
User => root
IdentityFile => Path menuju .pem file

Contoh:

Host demo_aigc
    HostName 116.62.200.189
    User root
    IdentityFile /Users/aaronhandoko01/Documents/'Alibaba Cloud'/SA/LLM/llm/Hackathon/demo_aigc.pem

11

h）Klik kembali tombol ssh pada bagian kiri bawah kembali kemudian pilih connect to Host dan pilih host yang sudah terbuat.
12

i）Jika parameter yang sudah dimasukkan benar, maka user akan diminta untuk memasukkan password ECS.

j）Buka root directory dengan melakukan ctrl + o atau cmd + o kemudian masukkan /root/

k）Selamat!! Anda sudah terhubung pada ECS melalui Visual Studio Code.

AnalyticDB Generative AI LLM VectorDB Large Language Model
0 1 0
Share on

Read previous post:

Logging Solutions with Alibaba Cloud Elasticsearch Cluster

Read next post:

Penggunaan LLM Model dengan Platform for AI (DSW dan EAS) untuk Integrasi Development Aplikasi yang lebih mudah

Alibaba Cloud Indonesia

100 posts | 17 followers

You may also like

Comments

Alibaba Cloud Indonesia

100 posts | 17 followers

Related Products

More Posts by Alibaba Cloud Indonesia

See All