全部產品
Search
文件中心

Cloud Backup:添加資料來源

更新時間:Dec 27, 2024

阿里雲Cloud Backup提供非結構化檔案系統類資料同步功能,可以將源端資料來源(包括NAS、HDFS、S3相容儲存、Object Storage Service、CPFS、OSS協議相容儲存等)同步至目的端資料來源(包括阿里雲上)。首次資料同步前,您需要添加源端資料來源和目的端資料來源。本文介紹如何在Cloud Backup控制台添加資料來源。

前提條件

  • 已開通阿里雲Cloud Backup服務。開通Cloud Backup不收取任何費用,資料同步功能公測中,不收取任何費用。

  • 已完成授權和安裝用戶端。更多操作,請參見準備工作

操作步驟

  1. 登入雲備份Cloud Backup控制台

  2. 在左側導覽列,選擇同步>数据同步

  3. 在頂部功能表列左上方,選擇所在地區。

  4. 数据源列表頁簽,單擊添加数据源

  5. 添加数据源面板,配置如下參數,單擊确定

    • 数据源类型網路附屬儲存(NAS)

      1. 配置重要參數,描述如下:

        參數

        描述

        数据源类型

        資料來源來源類型,此處選擇網路附屬儲存(NAS)

        数据源名称

        資料來源名稱。

        NAS网络地址

        待同步資料的NAS的網路地址。

        NAS共享目录

        共用相對/根目錄的路徑,例如/myshare,表示共用/myshare路徑,用於後續資料同步。

        • 如何查詢NAS共用目錄,請參見如何查詢NAS共用目錄

        • 僅支援中文、英文大小寫,數字以及特殊符號 ,-_=/.:\

          說明

          在大多數情況下,File Storage NAS的NFS協議檔案系統掛載後的根目錄為/,而SMB協議檔案系統掛載後的根目錄為/myshare。然而,請注意,在實際操作中,掛載的目錄可能會有所不同。因此,請根據您的實際掛載情況進行操作。

        协议类型

        支援的NAS協議類型。

        • NFS:NAS的協議是NFS時,選擇該值。

        • SMB:NAS的協議是SMB時,選擇該值。

        • GlusterFS:NAS的協議是GlusterFS時,選擇該值。

        重要
        • 如果您掛載的是阿里雲NAS,請在進階設定裡設定參數vers的取值。

        • 必須在用戶端機器上安裝NFS/SMB/GlusterFS用戶端。您可以參考如下命令安裝NFS/SMB/GlusterFS用戶端。

          NFS
          -CentOS: sudo yum install nfs-utils
          -Ubuntu: sudo apt-get install nfs-common
          SMB
          -Centos: sudo yum install cifs-utils
          -Ubuntu: sudo apt-get install cifs-utils
          -openSUSE: sudo zypper install cifs-utils
          GlusterFS
          -CentOS: sudo yum install glusterfs-client
          -Ubuntu: sudo apt-get install glusterfs-client
          -Reference: https://docs.gluster.org/en/latest/Install-Guide/Overview/
      2. (可選)單擊高级设置,然後單擊+配置挂载参数

        各掛載參數說明如下表所示。

        參數

        描述

        vers

        檔案系統版本。

        • vers=3:使用NFS v3協議掛載檔案系統。

        • vers=4:使用NFS v4協議掛載檔案系統。

        • vers=4.0:使用NFS v4.0協議掛載檔案系統。

        nolock

        是否啟用檔案鎖。

        proto

        檔案系統掛載協議。

        rsize

        定義資料區塊的大小,用於用戶端與檔案系統之間讀取資料。

        建議值:1048576位元組

        wsize

        定義資料區塊的大小,用於用戶端與檔案系統之間寫入資料。

        建議值:1048576位元組

        hard

        在Apsara File Storage NAS暫時停用情況下,使用檔案系統上某個檔案的本地應用程式時會停止並等待至該檔案系統恢複線上狀態。建議啟用該參數。

        timeo

        指定時間長度,單位為0.1秒,即NFS用戶端在重試向檔案系統發送請求之前等待響應的時間。

        建議值:600(60秒)

        retrans

        NFS用戶端重試請求的次數。

        建議值:2

    • 数据源类型HadoopDistributed File System(HDFS)

      配置重要參數,描述如下:

      參數

      描述

      数据源类型

      資料來源來源類型,此處選擇HadoopDistributed File System(HDFS)

      数据源名称

      用於表示HDFS的資料來源名稱。您可以根據情況自行定義合適的名稱。例如back-end-hdfs。

      NameNode 網路地址

      用於表示HDFS主伺服器的網路地址。

      NameNode作為主伺服器,管理HDFS檔案系統的命名空間和用戶端對檔案的訪問操作。例如網路地址為47.100.XX.XX,連接埠為9000,則資料來源地址為47.100.XX.XX:9000

      NameNode 連接埠

      用於表示HDFS主伺服器的連接埠號碼。例如9000

      Secondary NameNode 網路地址

      用於表示HDFS的輔助節點網路地址。

      輔助節點用於協助主伺服器的管理工作。

      Secondary NameNode 連接埠

      用於表示HDFS的輔助節點網路連接埠號碼。

      HDFS使用者名稱

      用於表示HDFS的使用者名稱。

      說明

      請確保HDFS使用者有足夠的許可權(推薦用hadoop或hdfs),否則可能導致資料同步時無法讀取檔案。

    • 数据源类型阿里雲Object Storage Service

      配置重要參數,描述如下:

      參數

      描述

      数据源类型

      資料來源來源類型,此處選擇阿里雲Object Storage Service

      数据源名称

      用於表示OSS資料來源名稱。

      用HTTPS传输数据

      選擇是否使用HTTPS傳輸資料。相比HTTP傳輸,HTTPS傳輸擁有更高的安全性。

      OSS Bucket

      從下拉框中選擇待同步的OSS Bucket名稱。Cloud Backup會自動擷取您帳號下該地區的所有Bucket列表。

      OSS Endpoint

      從下拉框中選擇OSS Bucket的Endpoint。OSS各地區Endpoint請參見訪問網域名稱和資料中心

      • 如果通過公網進行資料同步,請選擇Bucket的公網網域名稱。例如杭州為oss-cn-hangzhou.aliyuncs.com

      • 如果通過阿里雲VPC進行資料同步,請選擇Bucket的內網網域名稱。例如杭州為oss-cn-hangzhou-internal.aliyuncs.com

    • 数据源类型檔案儲存體CPFS

      配置重要參數,描述如下:

      參數

      描述

      数据源名称

      用於表示檔案儲存體CPFS的資料來源名稱。該名稱便於您快速識別資料來源,您可以根據情況自行定義合適的名稱。例如cpfs。

      CPFS掛載路徑

      檔案儲存體CPFS的掛載路徑。例如掛載路徑為/cpfs/00d0******1b-000001

      如果您的檔案儲存體CPFS還未添加POSIX掛載點、安裝CPFS-POSIX用戶端。請先添加掛載點和完成安裝。

      您可以在CPFS叢集管理節點執行以下命令,查詢CPFS叢集執行個體狀態、查詢掛載路徑。

      • 查詢CPFS叢集執行個體狀態

        • 執行命令

          mmgetstate -a
        • 返回樣本

           Node number  Node name                            GPFS state  
          ---------------------------------------------------------------
                     1  cpfs-00d0******1b-000001-qr-001  active
                     2  cpfs-00d0******1b-000001-qr-002  active
                     3  cpfs-00d0******1b-000001-qr-003  active
                     4  iZbp******haqrZ              active
      • 查詢CPFS掛載路徑

        • 執行命令

          df -h
        • 返回樣本

        Filesystem               Size  Used Avail Use% Mounted on
        devtmpfs                 3.8G     0  3.8G   0% /dev
        tmpfs                    3.8G   16K  3.8G   1% /dev/shm
        tmpfs                    3.8G  528K  3.8G   1% /run
        tmpfs                    3.8G     0  3.8G   0% /sys/fs/cgroup
        /dev/vda1                 40G  7.3G   33G  19% /
        tmpfs                    763M     0  763M   0% /run/user/0
        00d0******1b-000001  3.6T  564M  3.6T   1% /cpfs/00d0******1b-000001

        其中,/cpfs/00d0******1b-000001為CPFS掛載路徑。

    • 数据源类型OSS協議相容儲存

      配置重要參數,描述如下:

      參數

      描述

      数据源类型

      資料來源來源類型,此處選擇OSS協議相容儲存

      数据源名称

      用於表示OSS協議相容儲存的資料來源名稱。您可以根據情況自行定義合適的名稱。例如oss-bucket。

      用HTTPS传输数据

      選擇是否使用HTTPS傳輸資料。相比HTTP傳輸,HTTPS傳輸擁有更高的安全性。

      OSS Bucket

      OSS協議相容儲存的Bucket名稱。由儲存服務商提供。

      OSS Endpoint

      由儲存服務商提供專用網路地址(Endpoint)。請從OSS協議相容儲存管理員處擷取Endpoint。

      AccessKey ID

      由儲存服務商提供訪問專用網路的AccessKey ID和AccessKey Secret。請從OSS相容儲存管理員處擷取存取金鑰,該Key應該具有完全讀取OSS協議相容儲存資料的許可權。

      AccessKey Secret

    • 数据源类型S3協議相容儲存

      配置重要參數,描述如下:

      參數

      描述

      数据源类型

      資料來源來源類型,此處選擇S3協議相容儲存

      数据源名称

      用於表示S3的資料來源名稱。您可以根據情況自行定義合適的名稱。例如awss3。

      用HTTPS传输数据

      選擇是否使用HTTPS傳輸資料。相比HTTP傳輸,HTTPS傳輸擁有更高的安全性。

      S3存储桶

      用於表示S3儲存空間名稱。

      S3 Endpoint

      用於表示可用於執行S3對象操作的儲存空間的網路終端節點。例如:s3.us-east-1.amazonaws.com。請從S3相容儲存管理員處擷取Endpoint。

      Access Key

      用於表示以IAM身份訪問S3的安全憑證。請從S3相容儲存管理員處擷取存取金鑰,該Key應該具有完全讀取S3資料的許可權。

      Secret Key

    添加完成後,您可以在数据源列表頁簽看到已添加資料來源。

相關操作

對於已經添加的資料來源,您還可以在目標資料來源的更多中,執行如下操作:

操作

描述

编辑数据源

修改您已建立的資料來源配置參數。

注销数据源

當您確認不需要同步資料時,可以登出資料來源。登出後,不再進行資料同步。

  1. 同步计划頁簽,刪除該資料來源所有的同步計劃。

  2. 数据源列表頁簽,找到目標資料來源,選擇更多>注销数据源,完成資料來源登出。

  3. 查看客户端组面板,刪除同步任務的用戶端。

  4. 在安裝同步用戶端的機器上,卸載同步用戶端。如何卸載,請參見如何卸載雲備份用戶端

後續步驟

建立同步計劃