Hướng dẫn đồng bộ data từ máy local lên s3¶
Mở Đầu¶
Trong thế giới phát triển phần mềm hiện đại, việc quản lý và lưu trữ dữ liệu trở nên rất quan trọng. Sun S3 là một giải pháp lưu trữ đám mây phổ biến, cho phép bạn lưu trữ và truy xuất bất kỳ lượng dữ liệu nào từ bất kỳ đâu. Trong bài viết này, chúng ta sẽ khám phá một use case cụ thể: tự động đẩy dữ liệu từ máy local lên Sun S3 bằng cách sử dụng cron job và CLI (Command Line Interface). Điều này rất hữu ích cho việc sao lưu dữ liệu định kỳ, đồng bộ hóa tệp, hoặc chia sẻ dữ liệu với các dịch vụ khác.
Pre-condition
Người dùng đã có endpoint, access, secret key truy cập vào Sun S3.
I, Ubuntu/Centos¶
1, Tải script về máy
Ubuntu/Cenos
wget https://s3-hanoi2.sunteco.app/sunteco/backup_to_s3_ubuntu.sh
Trong file tải về, bạn mở file và thay thế các trường access key, secret, thư mục cần backup và bucket đẩy data lên.
YOUR_ACCESS_KEY , YOUR_SECRET_KEY, YOUR_BUCKET : Cung cấp bởi Sunteco
PATH_BACKUP_FOLDER : Đường dẫn tới thư mục cần đẩy databackup lên.
Set mode có thể thực thi cho file.
chmod +x backup_to_s3_ubuntu.sh
2, Cài đặt aws cli
Để script chạy được mỗi khi cron chạy, thì hệ điều hành cần có và cài đặt sẵn bộ công cụ chuẩn aws
Ubuntu
sudo apt update && sudo apt install -y awscli
Centos
sudo yum install awscli -y
Kiểm tra lại việc cài đặt thành công
aws --version
3, Tạo crontab
crontab -e
5 1 * * * /path/to/backup_to_s3_ubuntu.sh
II, Window¶
1, Tải script về máy¶
wget https://s3-hanoi2.sunteco.app/sunteco/backup_to_s3_window.bat
Trong file tải về, bạn mở file và thay thế các trường access key, secret, thư mục cần backup và bucket đẩy data lên.
YOUR_ACCESS_KEY , YOUR_SECRET_KEY, YOUR_BUCKET : Cung cấp bởi Sunteco
PATH_BACKUP_FOLDER : Đường dẫn tới thư mục cần đẩy databackup lên.
2, Cài đặt aws cli¶
Tới trang chủ hướng dẫn cài đặt (Cài đặt aws) của aws để tải file về.
Thực hiện chạy file .msi để cài đặt awscli
Kiểm tra lại việc cài đặt thành công
aws --version
3, Tạo schedule task¶
3.1, Mở task scheduler
Nhấn tổ hợp phím : Window + R
Nhập vào: taskschd.msc và nhấn enter
3.2, Tạo mới task
Click vào “Create Basic task”
Nhập tên task
3.3, Set trigger
Nhập thời gian chạy task
3.4, Chọn hành động
Chọn “Start a program”
Trong ô “Program/script” chọn file mà bạn đã tải về
3.5, Kết thúc
Kiểm tra lại các seting của bạn và nhấn finish.