您可以根据具体算法使用场景自定义算法组件,自定义组件创建成功后即可在Designer中使用该组件进行模型训练。本文以创建PyTorch类型的自定义组件,代码目录为OSS Bucket为例,为您介绍如何在Designer中使用自定义组件。
使用限制
仅支持在Designer中使用通用训练资源公共资源组运行自定义组件。
前提条件
已将执行代码上传到了OSS Bucket路径,具体操作请参见控制台上传文件。本示例的执行代码示例为main.py和requirements.txt。
操作步骤
创建Pytorch类型的自定义组件。
进入新建组件页面,创建Pytorch类型的自定义组件,详细操作步骤与更多参数配置说明,请参见创建自定义组件,本示例的核心配置要点如下。
执行配置
参数
描述
任务类型
选择Pytorch。
执行镜像
选择社区镜像:
pytorch-training:1.12-cpu-py39-ubuntu20.04
。执行代码
配置为代码入口文件(main.py、requirements.txt)所在的OSS Bucket路径。
执行命令
配置为:
python main.py $PAI_USER_ARGS --train $PAI_INPUT_TRAIN --test $PAI_INPUT_TEST --model $PAI_OUTPUT_MODEL --checkpoints $PAI_OUTPUT_CHECKPOINTS && echo "job finished"
。管道及参数配置
参数
描述
输入
单击配置两个输入管道:
输入名称分别配置为:train、test。
输入来源:OSS。
是否必填分别配置为:是、否。
描述分别配置为:训练数据、测试数据。
输出
单击配置两个输出管道:
输出名称分别配置为:model、checkpoints。
存储类型:OSS。
是否必填:是。
描述分别配置为:模型数据、算法checkpoints。
参数
单击配置五个参数:
参数名称分别配置为:param1、param2、param3、param4、param5。
参数类型分别配置为:Int、Float、String、Bool、Int。
默认值分别配置为:6、0.3、test1、true、2。
约束条件配置:单击默认值后的约束,分别参照上图为每个参数配置约束条件。
是否必填分别配置为:是、是、是、否、否。
训练约束
参数
描述
开启训练约束
打开开启训练约束开关。
机器类型
选择CPU和GPU。
支持多机
选择支持。
支持多卡
选择不支持。
新建空白工作流并双击工作流名称进入工作流页面,具体操作,请参见创建工作流:空白工作流。
本示例的组件名称为component,您可以在左侧组件列表直接将其拖入右侧画布中,即可使用自定义组件,其使用方式和Designer内置算法组件一致。
当自定义组件创建成功后,Designer中会在算法树中展示当前工作空间中的自定义组件。
自定义组件的输入、输出通道会被转换为Designer组件的输入和输出。
自定义组件的参数会转换为Designer组件的可视化控件。
每个输出通道会对应一个OSS目录选择控件,让您可以选择对应的输出目录。
自定义组件训练约束配置转换为Designer组件执行调优配置。
后续,如果自定义组件不满足您的使用场景,您还可以在组件列表页面更新自定义组件相关配置或新增组件版本,详情请参见管理自定义组件。