阿里雲Cloud Backup提供非結構化檔案系統類資料同步功能,可以將源端資料來源(包括NAS、HDFS、S3相容儲存、Object Storage Service、CPFS、OSS協議相容儲存等)同步至目的端資料來源(包括阿里雲上)。首次資料同步前,您需要添加源端資料來源和目的端資料來源。本文介紹如何在Cloud Backup控制台添加資料來源。
前提條件
已開通阿里雲Cloud Backup服務。開通Cloud Backup不收取任何費用,資料同步功能公測中,不收取任何費用。
已完成授權和安裝用戶端。更多操作,請參見準備工作。
操作步驟
在左側導覽列,選擇同步>数据同步。
在頂部功能表列左上方,選擇所在地區。
在数据源列表頁簽,單擊添加数据源。
在添加数据源面板,配置如下參數,單擊确定。
数据源类型為網路附屬儲存(NAS)
配置重要參數,描述如下:
參數
描述
数据源类型
資料來源來源類型,此處選擇網路附屬儲存(NAS)。
数据源名称
資料來源名稱。
NAS网络地址
待同步資料的NAS的網路地址。
NAS共享目录
共用相對/根目錄的路徑,例如/myshare,表示共用/myshare路徑,用於後續資料同步。
如何查詢NAS共用目錄,請參見如何查詢NAS共用目錄。
僅支援中文、英文大小寫,數字以及特殊符號
,-_=/.:\
。說明在大多數情況下,File Storage NAS的NFS協議檔案系統掛載後的根目錄為
/
,而SMB協議檔案系統掛載後的根目錄為/myshare
。然而,請注意,在實際操作中,掛載的目錄可能會有所不同。因此,請根據您的實際掛載情況進行操作。
协议类型
支援的NAS協議類型。
NFS:NAS的協議是NFS時,選擇該值。
SMB:NAS的協議是SMB時,選擇該值。
GlusterFS:NAS的協議是GlusterFS時,選擇該值。
重要如果您掛載的是阿里雲NAS,請在進階設定裡設定參數vers的取值。
必須在用戶端機器上安裝NFS/SMB/GlusterFS用戶端。您可以參考如下命令安裝NFS/SMB/GlusterFS用戶端。
NFS -CentOS: sudo yum install nfs-utils -Ubuntu: sudo apt-get install nfs-common SMB -Centos: sudo yum install cifs-utils -Ubuntu: sudo apt-get install cifs-utils -openSUSE: sudo zypper install cifs-utils GlusterFS -CentOS: sudo yum install glusterfs-client -Ubuntu: sudo apt-get install glusterfs-client -Reference: https://docs.gluster.org/en/latest/Install-Guide/Overview/
(可選)單擊高级设置,然後單擊+配置挂载参数。
各掛載參數說明如下表所示。
參數
描述
vers
檔案系統版本。
vers=3:使用NFS v3協議掛載檔案系統。
vers=4:使用NFS v4協議掛載檔案系統。
vers=4.0:使用NFS v4.0協議掛載檔案系統。
nolock
是否啟用檔案鎖。
proto
檔案系統掛載協議。
rsize
定義資料區塊的大小,用於用戶端與檔案系統之間讀取資料。
建議值:1048576位元組
wsize
定義資料區塊的大小,用於用戶端與檔案系統之間寫入資料。
建議值:1048576位元組
hard
在Apsara File Storage NAS暫時停用情況下,使用檔案系統上某個檔案的本地應用程式時會停止並等待至該檔案系統恢複線上狀態。建議啟用該參數。
timeo
指定時間長度,單位為0.1秒,即NFS用戶端在重試向檔案系統發送請求之前等待響應的時間。
建議值:600(60秒)
retrans
NFS用戶端重試請求的次數。
建議值:2
数据源类型為HadoopDistributed File System(HDFS)
配置重要參數,描述如下:
參數
描述
数据源类型
資料來源來源類型,此處選擇HadoopDistributed File System(HDFS)。
数据源名称
用於表示HDFS的資料來源名稱。您可以根據情況自行定義合適的名稱。例如back-end-hdfs。
NameNode 網路地址
用於表示HDFS主伺服器的網路地址。
NameNode作為主伺服器,管理HDFS檔案系統的命名空間和用戶端對檔案的訪問操作。例如網路地址為
47.100.XX.XX
,連接埠為9000
,則資料來源地址為47.100.XX.XX:9000
。NameNode 連接埠
用於表示HDFS主伺服器的連接埠號碼。例如
9000
。Secondary NameNode 網路地址
用於表示HDFS的輔助節點網路地址。
輔助節點用於協助主伺服器的管理工作。
Secondary NameNode 連接埠
用於表示HDFS的輔助節點網路連接埠號碼。
HDFS使用者名稱
用於表示HDFS的使用者名稱。
說明請確保HDFS使用者有足夠的許可權(推薦用hadoop或hdfs),否則可能導致資料同步時無法讀取檔案。
数据源类型為阿里雲Object Storage Service
配置重要參數,描述如下:
參數
描述
数据源类型
資料來源來源類型,此處選擇阿里雲Object Storage Service。
数据源名称
用於表示OSS資料來源名稱。
用HTTPS传输数据
選擇是否使用HTTPS傳輸資料。相比HTTP傳輸,HTTPS傳輸擁有更高的安全性。
OSS Bucket
從下拉框中選擇待同步的OSS Bucket名稱。Cloud Backup會自動擷取您帳號下該地區的所有Bucket列表。
OSS Endpoint
從下拉框中選擇OSS Bucket的Endpoint。OSS各地區Endpoint請參見訪問網域名稱和資料中心。
如果通過公網進行資料同步,請選擇Bucket的公網網域名稱。例如杭州為
oss-cn-hangzhou.aliyuncs.com
。如果通過阿里雲VPC進行資料同步,請選擇Bucket的內網網域名稱。例如杭州為
oss-cn-hangzhou-internal.aliyuncs.com
。
数据源类型為檔案儲存體CPFS
配置重要參數,描述如下:
參數
描述
数据源名称
用於表示檔案儲存體CPFS的資料來源名稱。該名稱便於您快速識別資料來源,您可以根據情況自行定義合適的名稱。例如cpfs。
CPFS掛載路徑
檔案儲存體CPFS的掛載路徑。例如掛載路徑為
/cpfs/00d0******1b-000001
。如果您的檔案儲存體CPFS還未添加POSIX掛載點、安裝CPFS-POSIX用戶端。請先添加掛載點和完成安裝。
您可以在CPFS叢集管理節點執行以下命令,查詢CPFS叢集執行個體狀態、查詢掛載路徑。
查詢CPFS叢集執行個體狀態
執行命令
mmgetstate -a
返回樣本
Node number Node name GPFS state --------------------------------------------------------------- 1 cpfs-00d0******1b-000001-qr-001 active 2 cpfs-00d0******1b-000001-qr-002 active 3 cpfs-00d0******1b-000001-qr-003 active 4 iZbp******haqrZ active
查詢CPFS掛載路徑
執行命令
df -h
返回樣本
Filesystem Size Used Avail Use% Mounted on devtmpfs 3.8G 0 3.8G 0% /dev tmpfs 3.8G 16K 3.8G 1% /dev/shm tmpfs 3.8G 528K 3.8G 1% /run tmpfs 3.8G 0 3.8G 0% /sys/fs/cgroup /dev/vda1 40G 7.3G 33G 19% / tmpfs 763M 0 763M 0% /run/user/0 00d0******1b-000001 3.6T 564M 3.6T 1% /cpfs/00d0******1b-000001
其中,
/cpfs/00d0******1b-000001
為CPFS掛載路徑。
数据源类型為OSS協議相容儲存
配置重要參數,描述如下:
參數
描述
数据源类型
資料來源來源類型,此處選擇OSS協議相容儲存。
数据源名称
用於表示OSS協議相容儲存的資料來源名稱。您可以根據情況自行定義合適的名稱。例如oss-bucket。
用HTTPS传输数据
選擇是否使用HTTPS傳輸資料。相比HTTP傳輸,HTTPS傳輸擁有更高的安全性。
OSS Bucket
OSS協議相容儲存的Bucket名稱。由儲存服務商提供。
OSS Endpoint
由儲存服務商提供專用網路地址(Endpoint)。請從OSS協議相容儲存管理員處擷取Endpoint。
AccessKey ID
由儲存服務商提供訪問專用網路的AccessKey ID和AccessKey Secret。請從OSS相容儲存管理員處擷取存取金鑰,該Key應該具有完全讀取OSS協議相容儲存資料的許可權。
AccessKey Secret
数据源类型為S3協議相容儲存
配置重要參數,描述如下:
參數
描述
数据源类型
資料來源來源類型,此處選擇S3協議相容儲存。
数据源名称
用於表示S3的資料來源名稱。您可以根據情況自行定義合適的名稱。例如awss3。
用HTTPS传输数据
選擇是否使用HTTPS傳輸資料。相比HTTP傳輸,HTTPS傳輸擁有更高的安全性。
S3存储桶
用於表示S3儲存空間名稱。
S3 Endpoint
用於表示可用於執行S3對象操作的儲存空間的網路終端節點。例如:
s3.us-east-1.amazonaws.com
。請從S3相容儲存管理員處擷取Endpoint。Access Key
用於表示以IAM身份訪問S3的安全憑證。請從S3相容儲存管理員處擷取存取金鑰,該Key應該具有完全讀取S3資料的許可權。
Secret Key
添加完成後,您可以在数据源列表頁簽看到已添加資料來源。
相關操作
對於已經添加的資料來源,您還可以在目標資料來源的更多中,執行如下操作:
操作 | 描述 |
编辑数据源 | 修改您已建立的資料來源配置參數。 |
注销数据源 | 當您確認不需要同步資料時,可以登出資料來源。登出後,不再進行資料同步。
|