全部产品
Search

搜索本产品

    人工智能平台 PAI：上传与下载数据文件

    文档中心

    人工智能平台 PAI：上传与下载数据文件

    更新时间：Dec 11, 2024

    DSW提供了数据上传和下载功能，用于文件传输。上传的数据文件可以作为数据源进行模型训练和评估，模型训练完成后，您可以将得到的预测结果或者模型导出，用在其他应用程序或系统中进行服务部署。本文为您介绍如何在Notebook或WebIDE页面上传与下载数据文件。

    背景信息

    通过DSW上传或下载数据时，您可以根据文件大小选择对应的操作方式。

    • 当您的单个文件小于等于5 GB，您可以通过以下两种方式上传或下载文件：

      • 使用Notebook上传或下载文件

        说明

        DSW在Notebook中提供了文件中转站的功能，当您需要将本地电脑中保存的大模型或其它较大文件上传到DSW实例时，文件中转站可加速文件上传流程，且不会产生额外费用。您的大文件仅需上传一次，就可以在同RAM账号下的多个DSW实例中保存和使用。

      • 使用WebIDE上传或下载文件

    • 当您的单个文件大于5 GB，建议您使用OSS的ossutil工具将本地文件上传到OSS存储空间后，将OSS创建为数据集并挂载到DSW实例中，从而在DSW实例中直接读取OSS数据。具体操作请参见DSW挂载配置。

    使用限制

    通过Notebook的文件中转站上传文件时，限制如下：

    • 支持多选文件同时上传，同时上传的文件个数不超过5个，超过5个文件的部分会进入排队流程。

    • 暂不支持文件夹上传，如有文件夹上传需求，建议您打包为压缩文件后上传，详情见常见问题。

    • 文件中转站中的文件默认有效期为7天，文件过期前支持点击延期，每次点击延期会延长7天有效期。

      有效期已经超过7天的文件不支持继续延期。

    • 文件中转站最多存放1000个文件，总容量10 GB。

    • Notebook的工作目录为/mnt/workspace/，如果需要下载的文件在其他目录下，请将文件移动到/mnt/workspace/。

    前提条件

    创建DSW实例。具体操作，请参见创建DSW实例。

    使用Notebook上传或下载文件

    1. 登录PAI控制台，打开要操作的DSW实例。

    2. 在Notebook页面上传或下载数据。

      区域

      上传/下载

      说明

      ①

      上传

      单击image，或将文件拖拽到文件列表的空白处进行上传，系统会根据文件大小确定上传方式：

      • 文件小于等于10 MB，直接通过浏览器上传到实例。

      • 如果文件大于10 MB，小于等于5 GB，文件会自动上传到文件中转站，再从文件中转站自动保存到实例。

      ②

      下载

      右键单击文件，选择Download，即可将文件下载到本地。

      image

    3. （可选）数据中转站文件清理及保存。单击左侧工具栏image，进入文件中转站页面，可查看传输列表或对文件进行操作。

      区域

      说明

      ①

      单击image，查看文件中转站的传输列表。

      ②

      单击目标文件右侧的image，可进行以下操作：

      • 文件传输完成之后，会自动保存到实例。如果您需要在当前实例重复保存该文件，您可以单击保存至实例将文件保存至当前实例中。如果您需要在同一RAM账号下的其他实例中使用该文件，可以在进入目标实例后单击保存至实例。

      • 文件中转站的文件默认有效期为7天，您可以在文件过期前单击延期，延长文件有效期。

      • 单击删除，即可删除文件中转站里的文件，不会删除文件列表中的文件。

      image

    使用WebIDE上传或下载文件

    1. 在DSW实例页面，单击WebIDE。

    2. 在WebIDE页面，单击左侧工具栏image.png，在文档列表中上传或下载数据：

      • 上传文件：右键单击目标目录，选择Upload，按照界面操作指引上传文件。

      • 下载文件：右键单击目标文件，选择Download下载文件。

        说明

        当前只支持下载文件，不支持下载文件夹。如果您需要下载文件夹，可以在Terminal中将文件夹打包，然后通过右键菜单进行下载。

    常见问题

    如何上传下载文件夹

    目前DSW不支持直接上传和下载文件夹，但您可以通过打包为压缩文件的方式实现文件夹的上传和下载。DSW Terminal提供了一个Linux环境，可以使用标准的Linux命令行工具，如tar、gzip、unzip等，来解压缩文件。以tar为例使用示例如下。

    1. 使用tar --version查看tar是否安装，如果没有，则可参考如下命令进行安装。

      # 对于基于Debian的系统（例如 Ubuntu）的安装命令
sudo apt install tar

# 基于Red Hat的系统（例如CentOS、Fedora）的安装命令
sudo yum install tar

    2. 解压缩文件夹。

      # 压缩文件夹， /path/to/diretory为要压缩的文件夹
tar -cvf archive_name.tar /path/to/directory

# 解压文件夹
tar -xvf archive_name.tar

    相关文档

    • 数据上传完成后，您可以使用DSW，DSW是PAI产品的云端机器学习开发IDE，为您提供交互式编程环境，详情请参见什么是DSW。

    • DSW支持接入多种数据源，包括OSS、NAS和MaxCompute，详情请参见读写数据。