Use PAI Designer to train models

ĐÀO TẠO MÔ HÌNH MÁY HỌC (MODEL TRAINING) VỚI PAI DESIGNER

By Vo Thi Phuong Anh, Alibaba Cloud Solutions Architect of Vietnam

1) PAI Designer là gì?
Machine Learning Designer là một công cụ giúp lập mô hình máy học được phát triển dựa trên công cụ PAIFlow và được nâng cấp từ Machine Learning Studio. Machine Learning Designer cung cấp nhiều thuật toán học máy tích hợp và hỗ trợ điện toán phân tán quy mô lớn dựa trên các tài nguyên điện toán như MaxCompute, Flink.

Machine Learning Designer cho phép bạn tạo các pipeline từ những template hoặc tạo theo cách thủ công. Machine Learning Designer cung cấp hàng trăm thành phần gói gọn các thuật toán được sử dụng trong phát triển AI và hỗ trợ nhiều nguồn dữ liệu như bảng MaxCompute và dữ liệu trong OSS.

Machine Learning Designer cung cấp hàng trăm thành phần để đáp ứng yêu cầu của bạn trong nhiều tình huống khác nhau. Các thành phần này có thể được phân loại thành các loại sau :

Các thành phần học máy truyền thống: Các thành phần này được sử dụng trong tiền xử lý dữ liệu, kỹ thuật tính năng, phân tích thống kê, phát hiện ngoại lệ, đề xuất, xử lý chuỗi thời gian hoặc phân tích mạng.
Các thành phần trong framework deep learning: Các thành phần này cung cấp các thuật toán xử lý ngôn ngữ hình ảnh, âm thanh hoặc tự nhiên trong khung PAI-Easy và các khung học sâu khác như TensorFlow hoặc PyTorch.
Thành phần thuật toán tùy chỉnh: Các thành phần này bao gồm SQL Script, Python Script và PyAlink Script. Bạn có thể sử dụng các thành phần dựa trên thuật toán tùy chỉnh này để tạo quy trình tùy chỉnh dựa trên yêu cầu kinh doanh của mình.

2) Các bước dùng PAI-Design để tạo các pipeline training mô hình máy học/AI
Để sử dụng PAI Designer để train mô hình của bạn, chúng ta cần những bước sau:
Screen_Shot_2023_09_15_at_15_27_16

Bước 1: Tạo một pipeline
Trước khi có thể sử dụng Machine Learning Designer để đào tạo mô hình, bạn phải tạo quy trình. Một đường ống có thể được tạo bằng cách sử dụng nhiều phương pháp. Bạn có thể chọn một dựa trên yêu cầu kinh doanh của bạn.
Bước 2: Đào tạo mô hình
Trên tab cấu hình quy trình của Machine Learning Designer, bạn có thể kéo các thành phần do Machine Learning Designer cung cấp vào canvas của mình, cấu hình các thành phần để sử dụng MaxCompute, Apache Flink hoặc tài nguyên chung, sau đó kết nối các thành phần để tạo pipeline. Sau đó, chạy để tinh chỉnh mô hình.
Bước 3: (Tùy chọn) Xem báo cáo trực quan
Sau khi đào tạo mô hình, bạn có thể xem báo cáo phân tích trên trang tổng quan trực quan để kiểm tra xem mô hình có đáp ứng mong đợi của bạn hay không.
Bước 4: Triển khai
Sau khi đào tạo mô hình, bạn có thể triển khai mô hình trong môi trường sản xuất để tạo các dự đoán dựa trên mô hình trên dữ liệu mới.

Trong bài viết này, chúng tôi sẽ hướng dẫn cách sử dụng PAI Designer để triển khai một pipeline đào tạo mô hình dự đoán Chất lượng không khí (Air Quality Prediction).

3) Hướng dẫn cụ thể
Để thực hiện theo bài hướng dẫn này, bạn sẽ cần có 1 Workplace trên Alibaba Cloud PAI và đã thêm dataset cần sử dụng vào Alibaba Cloud PAI. Nếu bạn chưa thực hiện 1 trong 2, bạn có thể tham khảo các bài viết trong series này.

Đầu tiên, từ trang console Alibaba Cloud, chọn truy cập vào Alibaba Cloud PAI và chọn vào Workplace của bạn. Chọn Visualized Modelling (Designer) để vào PAI Designer.
Screen_Shot_2023_09_15_at_15_36_32
Ở phần Pipeline bạn sẽ có 3 lựa chọn: Pipelines (tạo ra 1 pipeline rỗng), Preset Templates (Template các mô hình có sẵn); Custom Templates.

Đầu tiên, chúng ta có thể bắt đầu với Preset Template, chọn Preset Template để xem các mô hình đã có pipeline thiết kế sẵn cho bạn.
Screen_Shot_2023_09_15_at_15_37_19

Tại đây bạn sẽ thấy các mô hình có pipeline sẵn được thiết kế và hỗ trợ bởi Alibaba Cloud. Bạn có thể tùy ý lựa chọn mô hình mình mong muốn, trong bài viết này, chúng tôi sẽ chọn Air Quality Prediction.
Screen_Shot_2023_09_15_at_15_37_57

Sau đó bạn sẽ cần nhập một số thông tin (như hình dưới) và template sẽ được lưu như một pipeline của bạn.
Screen_Shot_2023_09_15_at_15_54_00

Pipeline Name: tên pipeline của bạn
Pipeline Data Path: Đường dẫn OSS dùng để lưu trữ dữ liệu tạm thời và các mô hình được tạo khi chạy pipeline. Cụ thể khi chạy pipeline, hệ thống sẽ tự động tạo một thư mục tạm thời theo định dạng sau: <Đường dẫn của Pipeline>//.
Description: Mô tả cho pipeline của bạn
Visibility: lựa chọn chỉ mình bạn hoặc tất cả người dùng trong workplace có thể thấy pipeline.

Sau khi hoàn tất, nhấn OK và pipeline sẽ được thêm vào workplace của bạn trong khoảng 10 giây.
Screen_Shot_2023_09_15_at_15_55_09

Nhấn Open để mở pipeline.
Screen_Shot_2023_09_15_at_15_55_46

Pipeline của bạn sẽ mở ra với các element có sẵn và được kết nối với nhau theo từng giai đoạn từ trên xuống dưới.
Screen_Shot_2023_09_15_at_16_59_11

Bạn có thể thấy các giai đoạn đã được thiết lập sẵn, để xem thiết lập của mỗi element, bạn có thể nhấn vào element đó và thông tin sẽ được hiện ra bên phải.

Trong bài hướng dẫn này, dữ liệu của chúng tôi sử dụng là CSV nên chúng tôi thực hiện thay thế element ‘data soure’ thành ‘Read CSV File’. Để thêm element Read CSV File, nhấn vào Data Source/Target trong các element ở góc trái và kéo thả Read CSV File.
Screen_Shot_2023_09_15_at_16_59_58

Sau khi kéo thả Read CSV File, thiết lập một số thông số như sau:
Screen_Shot_2023_09_15_at_17_00_33

Tiếp tục chỉnh sửa các element còn lại cho phù hợp với ý định của bạn, ở đây chúng tôi thực hiện sửa lại tên các cột trong các element cho phù hợp với bộ dữ liệu và giữ nguyên các thành phần của pipeline.

Sau khi hoàn tất, nhấn Run để chạy pipeline.
Screen_Shot_2023_09_15_at_17_01_34

Sau khi chạy thành công, hệ thống sẽ hiện Succeded và hiện tick xanh ở tất cả Element.
Screen_Shot_2023_09_15_at_17_02_04

Bên cạnh cách sử dụng Preset Template, bạn cũng có thể chọn tự tạo Pipeline của riêng mình. Bạn có thể chọn Pipeline > Create Pipeline > Create để tạo ra một pipeline rỗng.
Screen_Shot_2023_09_15_at_17_02_33

Community

Use PAI Designer to train models

ĐÀO TẠO MÔ HÌNH MÁY HỌC (MODEL TRAINING) VỚI PAI DESIGNER

Read previous post:

Read next post:

Alibaba Cloud Vietnam

You may also like

Comments

Alibaba Cloud Vietnam

Related Products

Platform For AI