全部產品
Search
文件中心

Platform For AI:上傳與下載資料檔案

更新時間:Dec 12, 2024

DSW提供了資料上傳和下載功能,用於檔案傳輸。上傳的資料檔案可以作為資料來源進行模型訓練和評估,模型訓練完成後,您可以將得到的預測結果或者模型匯出,用在其他應用程式或系統中進行服務部署。本文為您介紹如何在Notebook或WebIDE頁面上傳與下載資料檔案。

背景資訊

通過DSW上傳或下載資料時,您可以根據檔案大小選擇對應的操作方式。

  • 當您的單個檔案小於等於5 GB,您可以通過以下兩種方式上傳或下載檔案:

    • 使用Notebook上傳或下載檔案

      說明

      DSW在Notebook中提供了檔案中轉站的功能,當您需要將本地電腦中儲存的大模型或其它較大檔案上傳到DSW執行個體時,檔案中轉站可加速檔案上傳流程,且不會產生額外費用。您的大檔案僅需上傳一次,就可以在同RAM帳號下的多個DSW執行個體中儲存和使用。

    • 使用WebIDE上傳或下載檔案

  • 當您的單個檔案大於5 GB,建議您使用OSS的ossutil工具將本地檔案上傳到OSS儲存空間後,將OSS建立為資料集並掛載到DSW執行個體中,從而在DSW執行個體中直接讀取OSS資料。具體操作請參見DSW掛載配置

使用限制

通過Notebook的檔案中轉站上傳檔案時,限制如下:

  • 支援多選檔案同時上傳,同時上傳的檔案個數不超過5個,超過5個檔案的部分會進入排隊流程。

  • 暫不支援檔案夾上傳,如有檔案夾上傳需求,建議您打包為壓縮檔後上傳,詳情見常見問題

  • 檔案中轉站中的檔案預設有效期間為7天,檔案到期前支援點擊延期,每次點擊延期會延長7天有效期間。

    有效期間已經超過7天的檔案不支援繼續延期。

  • 檔案中轉站最多存放1000個檔案,總容量10 GB。

  • Notebook的工作目錄為/mnt/workspace/,如果需要下載的檔案在其他目錄下,請將檔案移動到/mnt/workspace/

前提條件

建立DSW執行個體。具體操作,請參見建立DSW執行個體

使用Notebook上傳或下載檔案

  1. 登入PAI控制台,開啟要操作的DSW執行個體。

  2. Notebook頁面上傳或下載資料。

    地區

    上傳/下載

    說明

    上傳

    單擊image,或將檔案拖拽到檔案清單的空白處進行上傳,系統會根據檔案大小確定上傳方式:

    • 檔案小於等於10 MB,直接通過瀏覽器上傳到執行個體。

    • 如果檔案大於10 MB,小於等於5 GB,檔案會自動上傳到檔案中轉站,再從檔案中轉站自動儲存到執行個體。

    下載

    按右鍵檔案,選擇Download,即可將檔案下載到本地。

    image

  3. (可選)資料中轉站檔案清理及儲存。單擊左側工具列image,進入檔案中轉站頁面,可查看傳輸列表或對檔案進行操作。

    地區

    說明

    單擊image,查看檔案中轉站的傳輸列表。

    單擊目標檔案右側的image,可進行以下操作:

    • 檔案傳輸完成之後,會自動儲存到執行個體。如果您需要在當前執行個體重複儲存該檔案,您可以單擊儲存至執行個體將檔案儲存至當前執行個體中。如果您需要在同一RAM帳號下的其他執行個體中使用該檔案,可以在進入目標執行個體後單擊儲存至執行個體

    • 檔案中轉站的檔案預設有效期間為7天,您可以在檔案到期前單擊延期,延長檔案有效期間。

    • 單擊刪除,即可刪除檔案中轉站裡的檔案,不會刪除檔案清單中的檔案。

    image

使用WebIDE上傳或下載檔案

  1. 在DSW執行個體頁面,單擊WebIDE

  2. WebIDE頁面,單擊左側工具列image.png,在文檔列表中上傳或下載資料:

    • 上傳檔案:按右鍵目標目錄,選擇Upload,按照介面操作指引上傳檔案。

    • 下載檔案:按右鍵目標檔案,選擇Download下載檔案。

      說明

      當前只支援下載檔案,不支援下載檔案夾。如果您需要下載檔案夾,可以在Terminal中將檔案夾打包,然後通過右鍵菜單進行下載。

常見問題

如何上傳下載檔案夾

目前DSW不支援直接上傳和下載檔案夾,但您可以通過打包為壓縮檔的方式實現檔案夾的上傳和下載。DSW Terminal提供了一個Linux環境,可以使用標準的Linux命令列工具,如targzipunzip等,來解壓縮檔案。以tar為例使用樣本如下。

  1. 使用tar --version查看tar是否安裝,如果沒有,則可參考如下命令進行安裝。

    # 對於基於Debian的系統(例如 Ubuntu)的安裝命令
    sudo apt install tar
    
    # 基於Red Hat的系統(例如CentOS、Fedora)的安裝命令
    sudo yum install tar
  2. 解壓縮檔案夾。

    # 壓縮檔夾, /path/to/diretory為要壓縮的檔案夾
    tar -cvf archive_name.tar /path/to/directory
    
    # 解壓檔案夾
    tar -xvf archive_name.tar

相關文檔

  • 資料上傳完成後,您可以使用DSW,DSW是PAI產品的雲端機器學習開發IDE,為您提供互動式編程環境,詳情請參見DSW概述

  • DSW支援接入多種資料來源,包括OSS、NAS和MaxCompute,詳情請參見讀寫資料