By Aaron Handoko, Solution Architect Alibaba Cloud Indonesia
https://gpdbnext.console.aliyun.com/gpdb/overview
1) Klik Basic Information pada bagian kiri
2) Pada bagian Vector Engine Optimization pastikan sudah di Enabled. Jika belum maka bisa di klik Enable.
Masuk ke dalam instance AnalyticDB yang sudah dibuat dengan mengeklik instance tersebut.
1) Dibagian kiri klik Account Management
2) Kemudian klik Create Account di sebelah kanan
3) Isi nama Account dan Password dan catat. Pada percobaan di bawah ini “myaccount” sudah terbuat
1) Pada bagian kiri klik Database Connection
2) Kemudian di bagian kanan klik Logon to Database. Tombol ini akan mengirimkan user ke laman DMS
3) Klik kanan instance AnalyticDB kemudian klik Database Management
4) Kemudian klik Create DB dan memberi nama Database yang diinginkan. Pada contoh ini adalah “db_llm”.
1) Kembali ke halaman instance ADBPG, kemudian pada bagian kiri klik Database Connection
2) Pada bagian Public Endpoint, aktifkan public endpoint agar dapat mengakses database dari ECS
Pada contoh ini akan diperbolehkan semua traffic untuk mengakses AnalyticDB, namun untuk production tidak disarankan untuk membuka semua akses
1) Masuk ke dalam Security Controls
2) Klik Create Whitelist dan masukkan nama dan ip 0.0.0.0/0 pada whitelist yang baru.
https://pai.console.aliyun.com/?regionId=ap-southeast-5&workspaceId=1004#/eas
Tambahkan nama instance kemudian klik Create
1) Service Name
2) Deployment Name: “Deploy Using Image”
3) Select PAI Image dan pilih “chat-llm-webui” versi yang dipilih versi 1.0
4) Command to run dapat diisi dengan salah satu command di bawah ini. Command dibedakan pada setiap model LLM yang dipilih.
| LLM | Command |
|---|---|
| Llama2 7B | python api/api_server.py --port=8000 --model-path=meta-llama/Llama-2-7b-chat-hf --disable-async |
| Llama2 13B | python api/api_server.py --port=8000 --model-path=meta-llama/Llama-2-13b-chat-hf --precision=fp16 |
| ChatGLM | python api/api_server.py --port=8000 --model-path=THUDM/chatglm2-6b |
| Tongyi Qianwen 7B | python api/api_server.py --port=8000 --model-path=Qwen/Qwen-7B-Chat |
5) Instance Type: GPU (ecs.gn5-c4g1.xlarge)
6) Masukkan VPC yang dimiliki di region Indonesia atau membuat VPC baru jika belum ada.
PENTING: Harap mencatat VPC yang digunakan agar semua solusi dapat terhubung.
7) Pada Configuration Editor masukkan command berikut:
"rpc": {
"keepalive": 60000,
"worker_threads": 1
},Penempatannya seperti pada contoh dibawah ini:
8) Masukkan VPC yang dimiliki di region Indonesia atau membuat VPC baru jika belum ada.
PENTING: Harap mencatat VPC yang digunakan agar semua solusi dapat terhubung.
1) DSW dapat diakses pada halaman PAI berikut: https://pai.console.aliyun.com/?regionId=ap-southeast-5#/sw?path=/notebook
Pastikan Region merupakan Indonesia (Jakarta)
2) Pilih workspace yang sudah dibuat pada instruksi sebelumnya.
3) Klik Create Instance
4) Masukkan Instance Name, Pada tahap ini dapat digunakan CPU atau GPU namun perlu diingat GPU akan memakan kupon lebih banyak dibandingkan CPU
GPU: NVIDIA P100 dengan 4 Core (“ecs.gn5-c4g1.xlarge”)
CPU: 4 vCPU and 16GB (“ecs.g6.xlarge” atau “ecs.g5.xlarge”)
5) Pada Image pilih Image URL dan masukkan image url berikut
6) Pilih VPC dan vSwitch yang sudah dibuat dan dipakai dengan instance ADB PG pada STEP 1
7) Setelah instance sudah dalam state running, klik Launch untuk menjalankan notebook.
INGAT: notebook akan discharge berdasarkan durasi penggunaan. Maka untuk menghindari coupon berlebih dapat memberhentikan instance dengan klik “stop” jika sudah tidak digunakan.
8) Jika menemukan error dibawah ini, Anda dapat mengabaikannya.
9) Pilih WebIDE kemudian pilih Open Folder.
10) Kemudian masukkan direktori berikut: “/home/LLM_Solution/”
11) Masuk ke dalam config.json dan konfigurasi file denganmengisikan beberapa hal.
“EASCfg”:
“url”: <URL didapat dari Step 2f>
“token”: “Token didapat dari Step 2f”
“ADBCfg”:
PG_HOST: <Host didapat dari Step 1g>
PG_USER: <User merupakan acc yang dibuat di Step 1e>
PG_PASSWORD: <Password untuk User>
12) Membuka New Terminal seperti pada bagian berikut
13) Input command berikut pada terminal
python main.py --config config.json --upload True
Command ini akan mendownload semua package yang dibutuhkan oleh LLM dan juga konfigurasi pada AnalyticDB
14) Input command berikut pada terminal
python main.py --config config.json --query "what is machine learning PAI"
Command ini digunakan untuk mendapatkan respon dari LLM.
1) Anda dapat melakukan edit pada python code seperti pada dibawah ini. Code yang di highlight merupakan code untuk memanggil LLM models dan cara untuk mendapatkan jawaban dari LLM model tersebut.
2) Anda dapat menambahkan document pada LLM model dengan cara berikut:
a) Klik kanan pada folder docs kemudian klik Upload. Pilih file yang ingin di upload ke dalam laman DSW
b) Kemudian jalankan command ini kembali
python main.py --config config.json --upload Truec) Lalu jalankan command berikut
python main.py --config config.json --query "what is machine learning PAI"
99 posts | 15 followers
FollowRegional Content Hub - August 19, 2024
Regional Content Hub - May 6, 2024
Regional Content Hub - September 2, 2024
Regional Content Hub - September 2, 2024
Regional Content Hub - May 20, 2024
Alibaba Cloud Indonesia - May 4, 2021
99 posts | 15 followers
Follow
Alibaba Cloud PrivateZone
Alibaba Cloud DNS PrivateZone is a Virtual Private Cloud-based (VPC) domain name system (DNS) service for Alibaba Cloud users.
Learn More
PrivateLink
Connect your VPCs to services in other VPCs through secure, reliable, and private connections.
Learn More
AnalyticDB for MySQL
AnalyticDB for MySQL is a real-time data warehousing service that can process petabytes of data with high concurrency and low latency.
Learn More
Offline Visual Intelligence Software Packages
Offline SDKs for visual production, such as image segmentation, video segmentation, and character recognition, based on deep learning technologies developed by Alibaba Cloud.
Learn MoreMore Posts by Alibaba Cloud Indonesia