您可以提前配置作业数据,并将作业数据及执行文件上传至对象存储OSS。创建作业时,可直接选择OSS中的作业文件,以提升工作效率。本文介绍如何上传作业到OSS并导入作业数据到集群中。
上传数据至OSS
您可以将作业数据及执行文件上传至对象存储OSS,操作步骤如下:
通过OSS导入作业到集群
登录集群。
具体操作,请参见登录集群。
选择以下一种方式导入:
OSS域名导入。
获取OSS服务的URL。
具体操作,请参见通过外网访问OSS服务和通过内网访问OSS服务。
运行以下命令下载作业和脚本文件:
本示例中作业脚本为:test.py、作业数据为:test.data。
当前系统已安装wget:
cd /ehpcdata wget http://<Bucket>.<内网Endpoint>/test.py wget http://<Bucket>.<内网Endpoint>/test.data
当前系统未安装wget:
cd /ehpcdata curl -O http://<Bucket>.<内网Endpoint>/test.py curl -O http://<Bucket>.<内网Endpoint>/test.data
临时链接导入。
获取存储文件含签名的临时URL。
具体操作,请参见授权给第三方下载。
运行以下命令下载作业和脚本文件。
本示例中作业脚本为:test.py、作业数据为:test.data。
当前系统已安装wget:
cd /ehpcdata wget http://<bucket>.<region>.aliyuncs.com/<object>?OSSAccessKeyId=<user access_key_id>&Expires=<unix time>&Signature=<signature_string>/test.py wget http://<bucket>.<region>.aliyuncs.com/<object>?OSSAccessKeyId=<user access_key_id>&Expires=<unix time>&Signature=<signature_string>/test.data
当前系统未安装wget:
curl -O http://<bucket>.<region>.aliyuncs.com/<object>?OSSAccessKeyId=<user access_key_id>&Expires=<unix time>&Signature=<signature_string>/test.py curl -O http://<bucket>.<region>.aliyuncs.com/<object>?OSSAccessKeyId=<user access_key_id>&Expires=<unix time>&Signature=<signature_string>/test.data