全部產品
Search
文件中心

Cloud Storage Gateway:資料下載

更新時間:Nov 19, 2024

在檔案網關複製模式下,您可以使用資料下載功能將OSS Bucket中的資料下載至本地用戶端。

前提條件

  • 已建立檔案網關並添加緩衝。更多資訊,請參見管理檔案網關添加緩衝

  • 已建立OSS Bucket。更多資訊,請參見控制台建立儲存空間

    重要
    • 檔案網關僅支援標準(Standard)類型、低頻訪問(IA)類型和Archive Storage類型的OSS Bucket。不支援回源特性的OSS Bucket。

    • 不建議網關直接對接歸檔類型的儲存桶。如果檔案寫入後長時間不會修改,可以考慮使用標準類型或者低頻類型的儲存桶,然後以生命週期的方式將檔案的儲存類型修改為歸檔類型或者冷歸檔類型,減少不必要的解凍動作,這種方案從成本以及效率的角度來看都更優於其他方案。

    • 用戶端寫入檔案到網關時,網關至少記錄兩個動作:寫入檔案以及設定檔案修改時間。網關會盡量合并這兩個動作,但仍可能針對某個檔案向儲存桶發起多個操作。設定修改時間會被轉換成修改儲存桶裡的對象的中繼資料,通過調用拷貝對象API來實現,如果是歸檔類型或者冷歸檔類型的檔案,則需要執行耗時的解凍動作,影響上傳效率,甚至可能因為緩衝盤內的資料來不及上傳導致寫入失敗。

  • 檔案網關使用反向同步或極速同步。具體操作,請參見極速同步

背景資訊

在預設情況下,檔案網關通過反向同步或極速同步將OSS Bucket中繼資料同步到本地用戶端。檔案網關複製模式下資料會在本地用戶端和OSS Bucket分別有一份拷貝。新增資料下載功能,實現檔案網關通過反向同步或極速同步的檔案資料可以下載指定路徑目錄檔案資料或全量資料至本地用戶端。

經公網下載資料會產生OSS服務費用,您可以根據自己的需求進行選擇使用。更多資訊,請參見計費概述

建立共用目錄開啟資料下載

  1. 在Cloud Storage Gateway控制台的網關列表頁面,找到並單擊目標檔案網關,單擊共用列表 > 建立

  2. 在配置頁面,完成共用配置。具體操作,請參見建立共用

  3. 進階設定頁面中需額外配置以下參數,然後單擊下一步

    參數

    說明

    模式

    開啟複製模式功能。

    反向同步

    開啟反向同步功能,將OSS上的中繼資料同步回本地,適用於網關容災和資料恢複/共用情境。

    由於反向同步只在訪問目錄時觸發,為確保未訪問目錄中的資料及新增資料能及時下載,推薦使用極速同步。更多資訊,請參見極速同步

    說明
    • 反向同步會掃描Bucket下的所有對象,如果對象數量較多,會產生OSS API請求費用。具體費用,請參見Object Storage Service 定價頁中的請求費用。

    • 如果您在基本資料頁簽中勾選了加入同步群組,則此選項不可用。

    反向同步時間間隔

    最小值為15s,最大值為36000s。

    說明

    如果Bucket內的對象比較多,建議反向同步間隔大於3600s,否則會由於反覆掃描產生大量的OSS API的請求費用。

    複製模式進階選項

    勾選複製模式進階選項

  4. 複製模式進階設定頁面完成以下參數配置,開啟資料下載

    參數

    說明

    配置複製目錄

    此配置項可以選擇運行在複製模式的檔案資料範圍。

    • 未選中時,預設共用全量資料運行在複製模式。

    • 選中時,在配置頁面單擊添加目錄,輸入目標資料目錄路徑。指定目錄路徑資料運行在複製模式,未指定部分資料運行在緩衝模式。

    說明
    • 當更改目錄從緩衝模式變成複製模式時,目錄中的檔案只有在開啟資料下載時才會被同步。推薦您同時開啟複製模式資料下載。

    • 指定目錄路徑為基於共用根目錄的相對路徑。例如,需要開啟複製模式的目錄的真實路徑為/mnt/myshare/mydir/,其中/mnt/myshare為掛載點,那麼填入/mydir/即可。

    資料下載

    開啟資料下載時反向同步或極速同步可以同時下載中繼資料和檔案資料,未開啟時僅同步中繼資料。

    說明
    • 複製模式檔案資料下載要求緩衝盤容量大於所需複製檔案總大小的1.1倍,請根據bucket使用量的增長預期,合理規劃緩衝盤容量大小。

    • 初次開啟資料下載時,會觸發一次全量掃描,可能會對效能產生影響,請確保開啟資料下載時,網關處於空閑狀態,直到完成所有資料下載。

    • 資料下載只支援一寫多讀的情況。如果對應的bucket有多個訪問者(包括但不限於網關、直接OSS訪問),只允許一個訪問者上傳檔案到Bucket,其他訪問者只能下載。多寫多讀情況下可能造成資料丟失,請您慎用。

    下載速度限制

    當開啟複製模式檔案資料下載時配置此項,下載速度限制不小於0 MB/s,且不大於1280 MB/s,當設定為0 MB/s即不限速。

    反向同步時間間隔

    當開啟複製模式檔案資料下載時配置此項,最小值為3600s,最大值為36000s。

    說明
    • 如果Bucket內的對象比較多,建議反向同步間隔大於3600s,否則會由於反覆掃描產生大量的OSS API的請求費用。

    • 由於反向同步只在訪問目錄時觸發,為確保未訪問目錄中的資料能下載,以及確保新增資料能及時下載,推薦您使用極速同步

現有共用目錄開啟資料下載

  1. 在Cloud Storage Gateway控制台的網關列表頁面,找到並單擊目標檔案網關,單擊右側進階設定

  2. 共用進階設定頁面需額外配置以下參數,開啟資料下載

    專案

    說明

    模式

    當模式為複製模式時,才可使用資料下載功能。

    反向同步

    開啟反向同步功能,將OSS上的中繼資料同步回本地,適用於網關容災和資料恢複/共用情境。

    由於反向同步只在訪問目錄時觸發,為確保未訪問目錄中的資料及新增資料能及時下載,推薦使用極速同步。更多資訊,請參見極速同步

    說明
    • 反向同步會掃描Bucket下的所有對象,如果對象數量較多,會產生OSS API請求費用。具體費用,請參見Object Storage Service 定價頁中的請求費用。

    • 如果您在基本資料頁簽中勾選了加入同步群組,則此選項不可用。

    資料下載

    開啟資料下載時反向同步或極速同步可以同時下載中繼資料和檔案資料,未開啟時僅同步中繼資料。

    說明
    • 資料下載要求緩衝盤容量大於所需複製檔案總大小的1.1倍,請根據bucket使用量的增長預期,合理規劃緩衝盤容量大小。

    • 初次開啟資料下載時,會觸發一次全量掃描,可能會對效能產生影響,請確保開啟資料下載時,網關處於空閑狀態,直到完成所有資料下載。

    • 資料下載只支援一寫多讀的情況。如果對應的bucket有多個訪問者(包括並不局限於網關、直接OSS訪問),只允許一個訪問者上傳檔案到bucket,其他訪問者只能下載。多寫多讀情況下可能造成資料丟失,請您慎用。

    下載速度限制

    僅當開啟資料下載時配置此項,限制下載速度不小於0MB/s,且不大於1280MB/s,當設定為0MB/s即為不限速。