阿里雲Cloud Backup提供非結構化檔案系統類資料同步功能,可以將源端資料來源(包括NAS、HDFS、S3相容儲存、Object Storage Service、CPFS、OSS協議相容儲存等)同步至目的端資料來源(包括阿里雲上)。本文介紹Cloud Backup的資料同步功能概覽,包括資料同步的簡介、工作原理、操作流程和費用等。
簡介
資料同步功能是阿里雲Cloud Backup提供的一項線上資料同步服務,便於將源端資料(包括NAS、HDFS、S3相容儲存、Object Storage Service、CPFS、OSS協議相容儲存等)同步到目的端(包括阿里雲上)。
Cloud BackupWindows用戶端不支援使用NFS協議掛載NAS。如果源端或者目的端包含NFS協議的NAS,請您在建立同步計劃時選擇雲備份Linux用戶端。
OSS/S3均不支援同步歸檔類型的Object, 僅複製Object的資料(包括軟連結Symlink指向的檔案),不支援複製Object讀寫權限等中繼資料資訊。
關鍵優勢
增量同步處理
支援增量策略,同步任務可以按照預設時間自動運行,增量同步處理時僅同步變化的檔案,大幅提升同步效率。
操作簡單
雲上資料來源原生支援,配置簡單。
效能卓越
最佳化的資料轉送鏈路,相比傳統拷貝工具效能大幅提升。
工作原理
您首先需要在本地一台或多台伺服器上安裝並啟用Cloud Backup用戶端,然後登入Cloud Backup控制台添加資料來源(源端資料來源和目標端資料來源)。
建立同步計劃。在執行同步任務時,Cloud Backup用戶端組會對指定的檔案夾進行掃描,識別需要同步的檔案,將增量資料上傳至雲端,完成同步。
Cloud Backup支援通過公網、VPN或專線同步至阿里雲。對於通過公網同步,只需要安裝Cloud Backup用戶端的伺服器能夠訪問公網即可,不需要將該伺服器向公網暴露IP。
操作流程
使用Cloud Backup控制台進行資料同步的步驟如下所示:
同步HDFS、本地NAS、S3相容儲存、CPFS、Object Storage Service和OSS協議相容儲存資料來源前,您需要在資料來源所在伺服器安裝用戶端。用戶端用於和Cloud Backup建立資料和管控服務。
開通Cloud Backup免費。使用該功能,Cloud Backup不收取任何費用。阿里雲NAS收取公網讀取檔案費用和隱藏檔費用,阿里雲OSS收取隱藏檔費用。計費詳情請參見阿里雲NAS計費概述和阿里雲OSS計費概述。
同步HDFS、本地NAS、S3相容儲存、CPFS、Object Storage Service和OSS協議相容儲存前,您需要在執行同步任務的伺服器上安裝用戶端,伺服器要求和資料來源節點網路互連。用戶端用於和Cloud Backup建立通訊服務和管控服務。
在Cloud Backup控制台添加HDFS、本地NAS、S3相容儲存、CPFS、Object Storage Service和OSS協議相容儲存資料來源。
建立資料同步計劃,Cloud Backup啟動計劃並按照計劃持續同步資料。
使用限制
Cloud BackupWindows用戶端不支援使用NFS協議掛載NAS。如果源端或者目的端包含NFS協議的NAS,請您在建立同步計劃時選擇雲備份Linux用戶端。
OSS/S3均不支援同步歸檔類型的Object, 僅複製Object的資料(包括軟連結Symlink指向的檔案),不支援複製Object讀寫權限等中繼資料資訊。
增量檔案清單(ChangeList)
按照增量檔案清單同步資料,不需要進行全量掃描,能夠減少掃描檔案成本,提升同步效率。建立同步計劃,若您選擇的資料來源為Object Storage Service或者S3相容儲存,則可以使用定製化增量檔案清單同步功能。
增量檔案清單是一個包含資料來源上需要同步的檔案資訊的CSV表格。每一行代表一個檔案,其中的Name欄位表示相對於資料來源同步路徑的相對路徑。例如,如下是一個名稱為
changeList1.csv
的表格,Name欄位是必須列,用於記錄待同步檔案清單。其他列暫不支援。說明Name取值不能重複,否則在資料同步時會相互覆蓋。
Name不能取值為目錄,必須指定為一個檔案。
在建立資料同步計劃時,填寫增量檔案清單所在的目錄路徑。資料同步任務啟動時,會讀取源端資料來源上該路徑下的所有CSV檔案,並進行解析,將需要同步的檔案傳輸到目標端。
說明例如,建立OSS到NAS同步計劃,可用增量檔案清單指定待同步的檔案清單。增量檔案清單
changeList1.csv
和changeList2.csv
儲存於源端/changelist
目錄下,則增量檔案清單路徑取值為/changelist
。每個CSV表格內的檔案處理完成後,該CSV表格會被移動到更深一層的
/Completed
目錄中,用於記錄處理完成。處理前CSV表格目錄
處理後CSV表格目錄
/changelist/changeList1.csv /changelist/changeList2.csv
/changelist/Completed/changeList1.csv /changelist/Completed/changeList2.csv
費用
使用該功能,Cloud Backup不收取任何費用。
使用阿里雲NAS,NAS收取檔案儲存體費用。更多資訊,請參見阿里雲NAS計費概述。
使用阿里雲OSS,OSS收取檔案儲存體費用。更多資訊,阿里雲OSS計費概述。