DSW提供了資料上傳和下載功能,用於檔案傳輸。上傳的資料檔案可以作為資料來源進行模型訓練和評估,模型訓練完成後,您可以將得到的預測結果或者模型匯出,用在其他應用程式或系統中進行服務部署。本文為您介紹如何在Notebook或WebIDE頁面上傳與下載資料檔案。
背景資訊
通過DSW上傳或下載資料時,您可以根據檔案大小選擇對應的操作方式。
使用限制
通過Notebook的檔案中轉站上傳檔案時,限制如下:
支援多選檔案同時上傳,同時上傳的檔案個數不超過5個,超過5個檔案的部分會進入排隊流程。
暫不支援檔案夾上傳,如有檔案夾上傳需求,建議您打包為壓縮檔後上傳,詳情見常見問題。
檔案中轉站中的檔案預設有效期間為7天,檔案到期前支援點擊延期,每次點擊延期會延長7天有效期間。
有效期間已經超過7天的檔案不支援繼續延期。
檔案中轉站最多存放1000個檔案,總容量10 GB。
Notebook的工作目錄為
/mnt/workspace/
,如果需要下載的檔案在其他目錄下,請將檔案移動到/mnt/workspace/
。
前提條件
建立DSW執行個體。具體操作,請參見建立DSW執行個體。
使用Notebook上傳或下載檔案
登入PAI控制台,開啟要操作的DSW執行個體。
在Notebook頁面上傳或下載資料。
地區
上傳/下載
說明
①
上傳
單擊,或將檔案拖拽到檔案清單的空白處進行上傳,系統會根據檔案大小確定上傳方式:
檔案小於等於10 MB,直接通過瀏覽器上傳到執行個體。
如果檔案大於10 MB,小於等於5 GB,檔案會自動上傳到檔案中轉站,再從檔案中轉站自動儲存到執行個體。
②
下載
按右鍵檔案,選擇Download,即可將檔案下載到本地。
(可選)資料中轉站檔案清理及儲存。單擊左側工具列,進入檔案中轉站頁面,可查看傳輸列表或對檔案進行操作。
地區
說明
①
單擊,查看檔案中轉站的傳輸列表。
②
單擊目標檔案右側的,可進行以下操作:
檔案傳輸完成之後,會自動儲存到執行個體。如果您需要在當前執行個體重複儲存該檔案,您可以單擊儲存至執行個體將檔案儲存至當前執行個體中。如果您需要在同一RAM帳號下的其他執行個體中使用該檔案,可以在進入目標執行個體後單擊儲存至執行個體。
檔案中轉站的檔案預設有效期間為7天,您可以在檔案到期前單擊延期,延長檔案有效期間。
單擊刪除,即可刪除檔案中轉站裡的檔案,不會刪除檔案清單中的檔案。
使用WebIDE上傳或下載檔案
在DSW執行個體頁面,單擊WebIDE。
在WebIDE頁面,單擊左側工具列,在文檔列表中上傳或下載資料:
上傳檔案:按右鍵目標目錄,選擇Upload,按照介面操作指引上傳檔案。
下載檔案:按右鍵目標檔案,選擇Download下載檔案。
說明當前只支援下載檔案,不支援下載檔案夾。如果您需要下載檔案夾,可以在Terminal中將檔案夾打包,然後通過右鍵菜單進行下載。
常見問題
如何上傳下載檔案夾
目前DSW不支援直接上傳和下載檔案夾,但您可以通過打包為壓縮檔的方式實現檔案夾的上傳和下載。DSW Terminal提供了一個Linux環境,可以使用標準的Linux命令列工具,如tar
、gzip
、unzip
等,來解壓縮檔案。以tar
為例使用樣本如下。
使用
tar --version
查看tar是否安裝,如果沒有,則可參考如下命令進行安裝。# 對於基於Debian的系統(例如 Ubuntu)的安裝命令 sudo apt install tar # 基於Red Hat的系統(例如CentOS、Fedora)的安裝命令 sudo yum install tar
解壓縮檔案夾。
# 壓縮檔夾, /path/to/diretory為要壓縮的檔案夾 tar -cvf archive_name.tar /path/to/directory # 解壓檔案夾 tar -xvf archive_name.tar