Designer提供了丰富的建模组件,您可以使用工作流,可视化的灵活构建模型、调试模型并周期性地调度模型,以完成模型训练。本文为您介绍使用Designer训练模型的具体操作步骤。
前提条件
背景信息
模型训练的操作步骤如下:
步骤一:构建模型
空白工作流构建模型
使用空白工作流进行建模时,建议您参考以下流程规划构建模型,您也可以前往快速入门,快速体验建模的流程,熟悉操作界面。
规划模型节点。
通常一个模型可以拆分为多个细分的节点任务,通过节点任务的前后编排来最终实现模型预期效果。因此,在建模之前,建议您先拆分模型并规划好细分的节点任务。通常建议一个节点完成一个最简单的任务。
根据规划,拖入并配置对应的组件。
在左侧的组件库中,您可以根据规划找到合适的组件,将其拖入画布中作为一个节点。通过单击节点,在右侧的配置框中配置节点所需的参数,即可完成节点的配置。
Designer为您提供百余种组件,满足读取数据、统计分析、文本分析等多种场景的使用,组件详情请参见组件参考:所有组件汇总。
在节点配置过程中,如果有多个节点都需要使用的一些全局参数,您可以使用全局变量来提高节点配置效率,详情请参见高级功能:全局变量。
通过连线将节点组织构建成模型工作流。
拖入多个组件后,画布中即有多个节点。您可以根据规划通过连线将各个节点组织成有上下游关系的工作流。后续模型实际运行时,上游节点会先运行,所有上游节点均运行完成后,下游节点会被触发运行。
模板工作流构建模型
使用模板工作流进行建模时,支持使用以下几类模板:
Designer里已经内置了数十个基于不同框架、满足不同行业场景需求的模板,具体分类如下,您可以根据业务需求,自行选择工作流模板。
按照行业类型分为:互联网、工业、金融、教育、医疗和科研类型。
按照算法类别和框架分为:分类、回归、聚类、TF框架和PyTorch框架。
按照业务领域分为:推荐、风控、用户增长、CV、NLP、模型优化、ASR和视频领域。
根据业务场景,新增或修改工作流节点,修改组件参数。
从左侧组件库中拖入新的组件到右侧画布中,您可以替换工作流中的节点,也可以将组件连接到已有组件的下游。
使用组件默认参数或单击组件,在右侧的配置框中配置组件所需的参数。
步骤二:调试模型
建模完成后,您可以对工作流节点进行调试。
调试模型整体
所有节点均配置完成、连线完成后,您可以在画布中单击运行按钮,对整个模型进行试运行。
调试单个节点
调试过程中,您也可以直接右键单击某个节点,选择直接从此处开始执行、执行该节点等运行调试范围,提高调试效率。
运行失败定位
如果某节点运行失败,您可以右键单击该节点查看日志等信息进行排查处理。
查看运行结果
运行成功后,您可以右键单击节点查看产出数据。
查看历史任务
建模过程中,您的每次运行都会被记录为一次历史任务。每次运行涉及的节点范围、节点的配置情况、产出结果均会保留在历史任务中。您可以单击工具栏右侧的全部任务查看,来查看所有历史任务的调试详情。
在历史任务对话框中,单击某个历史任务操作列下的详情,页面将跳转至任务管理中对应历史任务的详情页面。
您可以在顶部单击任务详情和任务结果切换查看对应的详细信息。
在任务详情页面中,画布展示当前历史任务参与运行的节点和运行详细信息。单击某个节点后,您可以在右侧详情中查看本次运行中此节点的运行信息、任务日志和输出结果。
单击某个历史任务操作列的版本回滚,您可以根据界面提示,将模型工作流回滚恢复至历史运行时的状态。
说明建议回滚之前,查看历史任务的详情,确认回滚的版本是否正确。同时,回滚前建议将最新的任务保存并运行一次。如果回滚后出错,您可以再次回滚至最新的任务状态。
相关文档
模型调试完成后,您可以将已训练好的模型注册为一个新的模型并进行管理,详情请参见注册及管理模型。
模型调试完成后,您可以使用模型进行新数据的预测,详情请参见模型预测概述。
在Designer画布中,您可以拖入EAS服务组件,连线指定节点的上下游关系,更新已部署的在线服务,详情请参见在线模型服务定时自动更新。
您可以通过调度配置,来指定工作流后续是否需要周期性自动运行,详情请参见使用DataWorks离线调度Designer工作流。