智能生产制作支持通过对真人形象的学习训练,实现基于文字或语音驱动数字人模拟真人播报功能。通过阅读本文,您可以了解如何定制及使用数字人。
概述
数字人分为“定制训练”和“合成使用”两个环节。
定制训练:指将真实人物形象经过算法训练,生成为数字化模型,以服务后续使用该形象时不再需要真人录制,即可通过算法合成形象视频。如果您对数字人形象没有特殊定制需求,也可以使用我们提供的多个免费数字人官方形象示例,直接进行数字人视频合成使用。
合成使用:指基于已经定制训练的数字化形象模型,通过文本或语音驱动其自动生成播报视频。
下文会具体为您介绍,如何定制数字人形象以及如何使用已定制数字人形象进行合成使用。
定制数字人形象
智能生产制作提供仿真数字人形象定制服务,包括专业版和大众版两档定制方案,您可以根据实际场景和需求选择适合的定制方案。
专业版:阿里云提供从录制引导到训练调教的全流程服务,针对单个形象进行训练算法调优,可达到广电传媒级的拟真效果,实现个性化高标准定制。
大众版:您需要自行上传训练素材,系统会采用标准化统一算法,2天内快速输出定制形象,可快速低成本的实现数字分身定制。
数字人定制方案 | 训练(录制)方式 | 提交训练素材方式 |
专业版 | 阿里云提供专业的录制环境(杭州线下签约影棚)和现场录制导师,保证您在录制环节中,采集到最佳效果的训练素材。 | 通过钉钉加入群48335001108,联系官方客服定制专业版数字人形象。 |
大众版 (小样本定制) | 自行选择绿幕或实景环境录制视频,录制要求请参见2D仿真数字人形象定制拍摄指南。 | 支持两种提交方式: 1、通过智能媒体服务控制台提交数字人定制。 2、通过API接口提交数字人训练。 |
在录制时,请严格遵守以下事项:
如果同一个形象需要有站姿、坐姿等不同表现,需要针对各个姿态进行独立录制和训练,生成多个形象ID。
为保证最佳的训练效果,请严格按照2D仿真数字人形象定制拍摄指南进行视频录制,尤其是保持面部表情自然生动、手部动作不遮挡面部,无情绪或指向性表达。
录制后视频的背景会在后续驱动合成时携带,如果后续引用数字人的视频终片不需要录制状态的背景,请在上传时进行抠图处理。
使用数字人形象合成视频
您可以通过控制台、Web SDK、OpenAPI使用定制的数字人形象或官方数字人形象,创建数字人视频合成任务。具体操作,请参见创建数字人视频合成任务。