PAI新增了Flink全托管资源,您可以购买Flink全托管资源,并关联到工作空间,用于PAI大规模分布式模型训练。本文为您介绍如何开通购买Flink全托管资源以及如何使用该资源进行模型训练。
Flink全托管资源
阿里云实时计算Flink版是阿里云基于Apache Flink构建的一站式实时大数据分析平台,提供端到端亚秒级实时数据分析能力,有关Flink全托管资源的详细信息请参见Flink全托管资源概述。
前提条件
在开始执行操作之前,请确认您已经完成以下准备工作:
您已经拥有阿里云账号。如果您还没有阿里云账号,请先完成注册。
操作账号和权限要求
购买Flink全托管资源
登录PAI控制台
在左侧导航栏单击 ,在资源配额页面中单击Flink全托管资源。
可选:在Flink全托管资源页面中,单击去开通。
说明如果您首次使用Flink全托管资源,则需要执行该操作步骤,并参考开通实时计算Flink版购买Flink全托管资源。
如果您想购买更多Flink全托管资源,可以执行后续操作步骤。
在Flink全托管页面中,单击资源管理。
在实时计算控制台页面,单击立即购买,关于如何购买Flink全托管资源,详情请参见开通实时计算Flink版。
购买成功后,在Flink全托管资源页面中,您可以看到购买成功的Flink全托管资源以及其他关键信息。
关联Flink全托管资源到工作空间
如果您需要在PAI中使用Flink全托管资源进行计算,您可以通过以下两种方式将已购买的Flink全托管资源关联到工作空间。
创建工作空间时,新增关联资源组。关于如何关联资源组,详情请参见创建工作空间。
在已经创建完成的工作空间中添加Flink计算资源,具体操作如下所示。
登录PAI控制台。
在左侧导航栏单击工作空间列表。在工作空间列表页面中单击待操作的工作空间名称,进入对应工作空间。
在工作空间详情页面右侧,单击资源管理,并按照界面操作指引关联Flink全托管资源。具体操作,请参见管理工作空间计算资源。
在Designer中使用Flink全托管资源进行模型训练
进入关联了Flink全托管资源的工作空间,并在Designer页面创建空白工作流,详情请参见新建自定义工作流。
在画布中拖入支持在Flink全托管资源上运行的组件,包括:
Alink框架的所有组件(不包括Beta组件),组件上有紫色标识。
自定义算法组件(PyAlink脚本)。
在画布右侧工作流属性页签,从Alink/FlinkML算法默认执行资源列表中选择Flink。
重要如果Alink组件成组执行,您需要同时将Alink组执行资源类型切换到Flink,否则,执行的资源类型为Alink组的默认资源类型。关于如何设置Alink组资源类型,详情请参见高级功能:Alink组件成组执行。
运行组件,支持以下几种方式:
单独运行依赖Flink全托管资源的组件,以运行PyAlink脚本组件为例,详情请参见PyAlink脚本。
依赖Flink全托管资源的组件和依赖其他资源类型的组件串联使用。以基于Alink框架的FM推荐为例,FM训练和FM预测组件依赖Flink全托管资源,二分类评估组件依赖MaxCompute计算资源。
批量运行依赖Flink全托管资源的组件,详情请参见高级功能:Alink组件成组执行。
组件运行完成后,右键单击工作流中的组件,在快捷菜单中,单击查看日志。
您也可以在日志框中单击vvp日志链接,查看更详细的计算信息。