全部產品
Search
文件中心

Apsara File Storage NAS:將NAS資料移轉至本地

更新時間:Jul 06, 2024

Apsara File Storage NAS支援通過rsync命令列工具、Robocopy工具等直接下載資料到本地檔案。您也可以將資料同步到OSS後再在OSS側下載資料到本地檔案。

重要

下載檔案資料需要佔用ECS公網頻寬,建議您新購一台ECS執行個體專門負責檔案資料下載,避免佔用業務頻寬。具體操作,請參見使用新購ECS作為資料轉送中轉節點

通過SFTP用戶端遷移資料

當有少量檔案需要一次性下載時,建議您在本地系統上安裝使用SFTP用戶端來完成。

方案優勢

  • 支援眾多作業系統平台。

  • 提供圖形化操作介面。

操作步驟

  1. 為本地作業系統安裝SFTP用戶端。

    SFTP的用戶端工具有多種版本,以下樣本中使用的是FileZilla,請選擇適合您本地作業系統的版本下載安裝SFTP用戶端

  2. 建立SFTP用戶端與中轉節點ECS之間的串連。

    1. 開啟FileZilla用戶端,按照如下說明進行配置。單擊Quickconnect,建立串連。

      在本地用戶端與ECS服務端的串連建立之後,左側地區會顯示本地檔案系統,右側地區會顯示服務端ECS的檔案系統。U-D NFS0201

      參數

      說明

      Host

      中轉節點ECS的公網IP地址。例如,192.0.2.1。

      Username

      中轉節點ECS的使用者名稱,且該使用者擁有讀寫NAS檔案系統目錄的許可權。例如,root。

      說明
      • Linux ECS執行個體的預設使用者名為:root或ecs-user。

      • Windows ECS執行個體的預設使用者名為:administrator。

      Password

      中轉節點ECS的登入密碼。例如,root登入密碼。

      說明

      如果您忘記了中轉節點ECS執行個體的密碼,可通過重設執行個體登入密碼重新為中轉節點ECS執行個體設定登入密碼。具體操作,請參見重設執行個體登入密碼

      Port

      SFTP連接埠號碼,預設為22。

    2. 在頁面右側地區,設定Remote site中的路徑為掛載了NAS檔案系統的路徑(例如/mnt),單擊斷行符號即可查看到NAS中的檔案清單。

      UD-NFS0202

  3. 下載資料。

    將右側地區中的檔案或目錄拖拽到左側地區,即完成資料下載。

通過rsync命令列工具遷移資料

當有大量檔案下載或需要頻繁下載的任務時,建議您在本地系統安裝使用rsync命令列工具執行下載任務。

方案優勢

  • 下載後的檔案中繼資料不變(包括屬主及許可權資訊)。

  • 支援資料增量同步處理。

  • 本地Linux或macOS系統可配置crontab向雲上NAS自動備份資料。

操作步驟

  1. 安裝rsync工具。

    Linux作業系統

    作業系統

    執行命令

    CentOS

    使用yum包管理器安裝rsync。

    sudo yum install rsync

    Redhat

    Ubuntu

    使用apt包管理器安裝rsync。

    sudo apt-get install rsync

    Debian

    說明

    如果您使用的其他版本Linux,請使用對應的包管理器安裝rsync工具。

    macOS作業系統

    請下載安裝homebrew包管理器,然後執行以下命令安裝rsync工具。

    brew install rsync

    Windows作業系統

  2. 下載資料。

    執行以下命令,從阿里雲NAS下載資料到本地目錄。

    rsync -avP root@192.0.2.0:/mnt/DirToSync/ DirToSync/

    參數

    說明

    192.0.2.0

    已掛載Apsara File Storage NAS檔案系統的Linux/Windows ECS公網IP。

    /mnt/DirToSync

    NAS中待匯出的資料目錄。

    DirToSync

    本地目錄。

    說明

    rsync命令中的路徑結尾必須帶有正斜線(/),否則資料路徑不匹配。

通過Robocopy工具遷移資料

方案優勢:

Robocopy是Windows系統內建的目錄複寫命令,該功能可以建立兩個檔案結構相同的鏡像副本且不複製任何不需要的重複檔案,同時還允許您保留所有相關的檔案資訊,包括日期、時間戳記等等。

同時您也可以通過在windows ECS上安裝最新的Python程式配置migration.py指令碼實現海量資料移轉。具體操作,請參見如何加速遷移資料至NAS SMB協議檔案系統

操作步驟

  1. 登入用於遷移資料的阿里雲ECS執行個體。

  2. 遷移資料。

    執行以下命令,將源檔案系統(Z盤)中的資料移轉到目標檔案系統(Y盤)中。

    robocopy Z:\ Y:\ /e /w:5 /z /mt:32
    說明

    僅遷移指定目錄下的資料,不包括指定目錄。

    重要欄位說明如下,請根據實際情況替換。

    參數

    說明

    /mt

    設定並發的線程數。預設值為8。

    取值為1~128。

    本文樣本32個線程進行多線程複製。

    /w

    設定每次錯誤重試的間隔秒數。

    /z

    開啟斷點續傳。

    /e

    拷貝所有子目錄(包括空目錄)。

    /copyall

    複製所有的檔案資訊。包含:

    • 資料

    • 屬性

    • 時間戳記

    • 存取控制清單(ACL)

    • 所有者資訊

    • 審計資訊

    說明

    如果您想加速遷移海量資料(例如,10 T以上的上億小檔案),可通過在windows ECS上安裝最新的Python程式執行遷移。具體操作,請參見如何加速遷移資料至NAS SMB協議檔案系統

  3. 檢查遷移結果。

    遷移完後,執行以下Robocopy命令,檢查目標檔案系統是否與源檔案系統一致。

    ROBOCOPY Z:\ Y:\ /e /l /ns /njs /njh /ndl /fp /log:reconcile.txt

    重要欄位說明如下,請根據實際情況替換。

    參數

    說明

    /e

    僅列出目錄(包括空目錄)。

    /l

    不修改或複製檔案,僅記錄差異。

    /fp

    指在日誌中包括檔案的完整路徑(僅在省略/ndl時有必要)。

    /ns

    指不在日誌中包括檔案大小。

    /ndl

    指不在日誌中包括檔案夾。

    /njs

    指不包括作業摘要。

    /njh

    不包括作業頭。

    /log:reconcile.txt

    將遷移結果寫入reconcile.txt日誌中。如果已存在,將覆蓋現有日誌。

通過IIS FTP遷移資料

當有少量檔案需要一次性下載時,建議您在本地系統配置FTP用戶端來完成,此方案具有以下優點:

方案優勢

  • 支援眾多作業系統平台。

  • 提供圖形化操作介面。

操作步驟

具體操作,請參見設定Windows IIS Web服務

說明
  • 需在VPC安全性群組開啟對應的FTP TCP連接埠。

  • 您也可以配置其他FTP服務端和用戶端進行公網上傳下載資料。

  • Elastic IP Address對入方向流量不收費,僅對出方向流量收費。也就是說,從公網上傳資料到NAS不會收取流量費用,而從NAS下載資料則會收取流量費用。計費詳情請參見Elastic IP Address隨用隨付

將資料移轉至OSS後再下載

您可以通過ossutil工具或線上遷移服務將資料同步到OSS,然後在OSS側下載資料到本地檔案。

  1. 將資料移轉至OSS

  2. 在OSS側下載檔案到本地。具體操作,請參見簡單下載