Hướng dẫn chuyển dữ liệu từ S3 Storage bất kỳ sang Alibaba Cloud S3 Storage tại Việt Nam (EOS)

By Grace, Alibaba Cloud Solutions Architect of Vietnam

Giới thiệu

Việc di chuyển dữ liệu giữa các nền tảng lưu trữ khác nhau thường là một thách thức lớn, đòi hỏi phải có giải pháp đảm bảo an toàn, tính toàn vẹn của dữ liệu và tối ưu hóa chi phí. Alibaba Cloud cung cấp một công cụ mạnh mẽ mang tên OSSImport kết hợp với S3 Storage tại Việt Nam của Alibaba Cloud (gọi là EOS), đây là một giải pháp toàn diện giúp bạn xây dựng hệ thống lưu trữ tại Việt Nam một cách dễ dàng.

OSSImport là một công cụ được thiết kế đặc biệt để giúp bạn dễ dàng chuyển đổi và quản lý dữ liệu từ các nền tảng lưu trữ S3 khác sang Alibaba Cloud thông qua dòng lệnh (command line). Trong bài viết này, chúng tôi sẽ hướng dẫn bạn cách chuyển dữ liệu từ bất kỳ dịch vụ S3 Storage nào sang Alibaba Cloud S3 Storage tại Việt Nam một cách dễ dàng và hiệu quả.

Kịch bản bài blog này

Trong bài lab này, chúng tôi có dữ liệu được đặt tại một storage S3 bên ngoài, sau đó thực hiện di chuyển dữ liệu đó sang S3 Storage của Alibaba Cloud đặt tại Việt Nam (EOS).

Hướng dẫn chuyển dữ liệu từ S3 Storage bất kỳ sang Alibaba Cloud S3 Storage tại Việt Nam

Chuẩn bị: Một máy ảo (hoặc máy local) sử dụng hệ điều hành Linux, vì bạn sẽ thao tác nhiều với dòng lệnh.

Trong bài hướng dẫn này, chúng tôi sử dụng máy ảo ENS đặt tại Việt Nam của Alibaba Cloud để đảm bảo tốc độ truy cập đến storage S3 cùng ở tại Việt Nam là nhanh nhất. Hệ điều hành được sử dụng là CentOS.

Đầu tiên, sau khi tạo một máy ảo, chúng tôi kết nối vào máy ảo để sử dụng (bạn có thể kết nối bằng SSH hoặc trực tiếp trên console Alibaba Cloud).

Đầu tiên, chạy lệnh sau để tải Java.

$ sudo yum install java

Chạy lệnh sau để kiểm tra xem Java đã có trong máy hay chưa:

$ java -version

Mẫu kết quả:

Kế tiếp, chạy lệnh sau để tải công cụ ossimport từ Alibaba Cloud:

$ wget https://gosspublic.alicdn.com/ossimport/international/standalone/ossimport-2.3.7.zip

Sau khi hoàn tất, bạn có thể kiểm tra xem ossimport đã có trên máy chưa bằng lệnh

$ ls

File được tải về là file zip, chúng ta cần tải unzip để có thể giải nén từ Terminal.
Chạy lệnh sau để tải unzip (nếu bạn đã có unzip, bạn có thể bỏ qua bước này).

$ sudo yum install unzip

Sau đó, chạy lệnh sau để giải nén file ossimport.

$ unzip ossimport-2.3.7.zip

Cấu trúc file ossimport sau khi giải nén sẽ hiển thị như hình trên.
Để cấu hình cho task di chuyển dữ liệu, di chuyển vào thư mục conf.
Mở file local_job.cfg, cấu hình các thông tin sau:
Bạn có thể cấu hình theo như nhu cầu cá nhân, hoặc làm theo gợi ý của chúng tôi:

DataSourcesettings

srcType=s3
srcAccessKey= (AccessKey của S3 nguồn)
srcSecretKey=(SecretKey của S3 nguồn)
srcDomain= (endpoint của S3, không bao gồm tên bucket)
srcBucket= (tên bucket)

Destinationsettings

destAccessKey=(AccessKey của EOS)
destSecretKey=(SecretKey của EOS)
destDomain=http://eos.aliyuncs.com
destBucket=(tên bucket EOS)

Max object count per task.
taskObjectCountLimit=10000 (số file tối đa cho 1 task)

Max file size (in bytes) limits per task. Default size is 1G.
taskObjectSizeLimit=100000000 (kích thước file tối đa cho 1 task, tính bằng bytes)

The file larger than this value uses multipart upload; otherwise, use simple upload. Set this value greater than 1 MB. Examples of valid values are 50m, 1024m, and 5g.
multipartUploadThreshold=50m (kích thước lớn nhất của 1 file được upload 1 lần, nếu lớn hơn số này, file sẽ được upload thành nhiều phần).

The part size of multipart upload. This value must be greater than 100 KB. The default value is 50 MB. Examples of valid values are 500k, 50m, and 2g.
multipartUploadPartSize=1g (size mỗi lần upload, trong trường hợp file bị điều hướng sang upload nhiều phần).

Mẫu file local_job.cfg

Giữ các phần còn lại ở giá trị mặc định. Sau khi hoàn tất, lưu file lại.

Sau khi khởi tạo task di chuyển dữ liệu, bạn có thể xem thông tin trong Terminal (nơi chạy các lệnh phía trên) hoặc xem tại bucket EOS, dữ liệu sẽ được di chuyển vào và các thông số về lượng dữ liệu, băng thông sẽ được cập nhật.

Community

Hướng dẫn chuyển dữ liệu từ S3 Storage bất kỳ sang Alibaba Cloud S3 Storage tại Việt Nam (EOS)

Giới thiệu

Kịch bản bài blog này

Hướng dẫn chuyển dữ liệu từ S3 Storage bất kỳ sang Alibaba Cloud S3 Storage tại Việt Nam

DataSourcesettings

Destinationsettings

Read previous post:

Read next post:

Alibaba Cloud Vietnam

You may also like

Comments

Alibaba Cloud Vietnam

Related Products

Storage Capacity Unit

Hybrid Cloud Storage

Hybrid Cloud Distributed Storage

Data Lake Storage Solution