全部產品
Search
文件中心

Cloud Backup:功能概覽

更新時間:Jul 17, 2024

阿里雲Cloud Backup提供非結構化檔案系統類資料同步功能,可以將源端資料來源(包括NAS、HDFS、S3相容儲存、Object Storage Service、CPFS、OSS協議相容儲存等)同步至目的端資料來源(包括阿里雲上)。本文介紹Cloud Backup的資料同步功能概覽,包括資料同步的簡介、工作原理、操作流程和費用等。

簡介

資料同步功能是阿里雲Cloud Backup提供的一項線上資料同步服務,便於將源端資料(包括NAS、HDFS、S3相容儲存、Object Storage Service、CPFS、OSS協議相容儲存等)同步到目的端(包括阿里雲上)。

說明
  • Cloud BackupWindows用戶端不支援使用NFS協議掛載NAS。如果源端或者目的端包含NFS協議的NAS,請您在建立同步計劃時選擇雲備份Linux用戶端。

  • OSS/S3均不支援同步歸檔類型的Object, 僅複製Object的資料(包括軟連結Symlink指向的檔案),不支援複製Object讀寫權限等中繼資料資訊。

關鍵優勢

  • 增量同步處理

    支援增量策略,同步任務可以按照預設時間自動運行,增量同步處理時僅同步變化的檔案,大幅提升同步效率。

  • 操作簡單

    雲上資料來源原生支援,配置簡單。

  • 效能卓越

    最佳化的資料轉送鏈路,相比傳統拷貝工具效能大幅提升。

工作原理

  1. 您首先需要在本地一台或多台伺服器上安裝並啟用Cloud Backup用戶端,然後登入Cloud Backup控制台添加資料來源(源端資料來源和目標端資料來源)。

  2. 建立同步計劃。在執行同步任務時,Cloud Backup用戶端組會對指定的檔案夾進行掃描,識別需要同步的檔案,將增量資料上傳至雲端,完成同步。

  3. Cloud Backup支援通過公網、VPN或專線同步至阿里雲。對於通過公網同步,只需要安裝Cloud Backup用戶端的伺服器能夠訪問公網即可,不需要將該伺服器向公網暴露IP。

操作流程

使用Cloud Backup控制台進行資料同步的步驟如下所示:

說明

同步HDFS、本地NAS、S3相容儲存、CPFS、Object Storage Service和OSS協議相容儲存資料來源前,您需要在資料來源所在伺服器安裝用戶端。用戶端用於和Cloud Backup建立資料和管控服務。

  1. 開通雲備份

    開通Cloud Backup免費。使用該功能,Cloud Backup不收取任何費用。阿里雲NAS收取公網讀取檔案費用和隱藏檔費用,阿里雲OSS收取隱藏檔費用。計費詳情請參見阿里雲NAS計費概述阿里雲OSS計費概述

  2. 安裝用戶端

    同步HDFS、本地NAS、S3相容儲存、CPFS、Object Storage Service和OSS協議相容儲存前,您需要在執行同步任務的伺服器上安裝用戶端,伺服器要求和資料來源節點網路互連。用戶端用於和Cloud Backup建立通訊服務和管控服務。

  3. 添加資料來源

    Cloud Backup控制台添加HDFS、本地NAS、S3相容儲存、CPFS、Object Storage Service和OSS協議相容儲存資料來源。

  4. 建立同步計劃

    建立資料同步計劃,Cloud Backup啟動計劃並按照計劃持續同步資料。

使用限制

  • Cloud BackupWindows用戶端不支援使用NFS協議掛載NAS。如果源端或者目的端包含NFS協議的NAS,請您在建立同步計劃時選擇雲備份Linux用戶端。

  • OSS/S3均不支援同步歸檔類型的Object, 僅複製Object的資料(包括軟連結Symlink指向的檔案),不支援複製Object讀寫權限等中繼資料資訊。

增量檔案清單(ChangeList)

按照增量檔案清單同步資料,不需要進行全量掃描,能夠減少掃描檔案成本,提升同步效率。建立同步計劃,若您選擇的資料來源為Object Storage Service或者S3相容儲存,則可以使用定製化增量檔案清單同步功能。

  1. 增量檔案清單是一個包含資料來源上需要同步的檔案資訊的CSV表格。每一行代表一個檔案,其中的Name欄位表示相對於資料來源同步路徑的相對路徑。例如,如下是一個名稱為changeList1.csv的表格,Name欄位是必須列,用於記錄待同步檔案清單。其他列暫不支援。

    ca50bedbf70c6d79a608a766f25b636a.png

    說明
    • Name取值不能重複,否則在資料同步時會相互覆蓋。

    • Name不能取值為目錄,必須指定為一個檔案。

  2. 在建立資料同步計劃時,填寫增量檔案清單所在的目錄路徑。資料同步任務啟動時,會讀取源端資料來源上該路徑下的所有CSV檔案,並進行解析,將需要同步的檔案傳輸到目標端。

    說明

    例如,建立OSS到NAS同步計劃,可用增量檔案清單指定待同步的檔案清單。增量檔案清單changeList1.csvchangeList2.csv儲存於源端/changelist目錄下,則增量檔案清單路徑取值為/changelist

  3. 每個CSV表格內的檔案處理完成後,該CSV表格會被移動到更深一層的/Completed目錄中,用於記錄處理完成。

    處理前CSV表格目錄

    處理後CSV表格目錄

    /changelist/changeList1.csv
    /changelist/changeList2.csv

    image.png

    /changelist/Completed/changeList1.csv
    /changelist/Completed/changeList2.csv

    image.png

費用

使用該功能,Cloud Backup不收取任何費用。

後續步驟