全部产品
Search
文档中心

智能媒体服务:SubmitAvatarVideoJob - 提交数字人渲染任务

更新时间:Nov 18, 2024

以人声音频或文本作为输入,渲染虚拟人视频。

接口说明

  • 目前仅支持输入为文本或人声音频作为输入,音频仅支持 mp3 或 wav 格式。
  • 支持输出 mp4 和 webm 格式。当输出为 mp4 时,成片为带绿幕背景的视频,同时输出虚拟人的蒙版视频,供后续使用,推荐用这个方案。当输出为 webm 时,成片为带透明通道的 webm,可用于前端展示,由于 webm 编码问题,合成会慢一些。
  • 输出结果中包含人声的句子时间戳,供后续在剪辑中使用。

调试

您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。

授权信息

下表是API对应的授权信息,可以在RAM权限策略语句的Action元素中使用,用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下:

  • 操作:是指具体的权限点。
  • 访问级别:是指每个操作的访问级别,取值为写入(Write)、读取(Read)或列出(List)。
  • 资源类型:是指操作中支持授权的资源类型。具体说明如下:
    • 对于必选的资源类型,用背景高亮的方式表示。
    • 对于不支持资源级授权的操作,用全部资源表示。
  • 条件关键字:是指云产品自身定义的条件关键字。
  • 关联操作:是指成功执行操作所需要的其他权限。操作者必须同时具备关联操作的权限,操作才能成功。
操作访问级别资源类型条件关键字关联操作
ice:SubmitAvatarVideoJobcreate
*全部资源
*

请求参数

名称类型必填描述示例值
InputConfigstring

虚拟人任务输入参数。支持以文本、音频 OSS 文件、媒资作为输入。音频仅支持 mp3 或 wav 格式。

注意 Text 的输入内容长度不能少于 5 个字

{"Text": "君不见黄河之水天上来,奔流到海不复回。君不见高堂明镜悲白发,朝如青丝暮成雪。"}
EditingConfigstring

虚拟人任务配置信息,支持设置虚拟人 id、人声、语速等信息

{"AvatarId":"yunqiao"}
OutputConfigstring

任务输出信息,支持设置输出地址、成片分辨率信息

{"MediaURL":"https://your-bucket.oss-cn-shanghai.aliyuncs.com/xxx.mp4"}
Titlestring

任务标题,长度不超过 128 字节

测试标题
Descriptionstring

任务描述,长度不超过 128 字节

测试描述
UserDatastring

用户自定义设置,可传入客户业务信息,如业务方环境、任务信息,JSON 字符串格式。

{"user":"data","env":"prod"}

InputConfig 示例:

输入为音频地址:

{
  "InputFile": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/xxx.mp3"
}

输入为文本:

{
  "Text": "君不见黄河之水天上来,奔流到海不复回。君不见高堂明镜悲白发,朝如青丝暮成雪。"
}

输入为 MediaId:

{
  "MediaId": "4aef0c80cc0071edbf92f6e7c44b6302"
}

EditingConfig 示例:

AvatarId:虚拟人形象 Id,必填 ,取值:数字人官方形象
Voice:发音人,仅输入为 Text 有效,选填,取值:智能语音效果示例
CustomizedVoice:个性化人声。如果需要使用通过人声克隆生成的个性化人声作为发音人,请使用此字段,而不是 Voice 字段
LoopMotion: 是否首尾同帧,如果设置此值为 true,则生成的数字人视频图像的首帧与尾帧相同,循环播放视频时人物形象的动作和表情不会有“跳变”现象,取值范围:{true, false},默认值:false
SpeechRate:语速,仅当输入为文本类型有效,取值范围:-500~500,默认值:0
PitchRate:音调,仅当输入为文本类型有效,取值范围:-500~500,默认值:0
Volume:音量,仅当输入为文本类型有效,取值范围:0~100,默认值 50
BackgroundUrl:背景图,默认是绿幕,选填,仅支持 jpg、png 格式

{
  "AvatarId": "xinxin-marketing_standing", 
  "BackgroundUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/xxx.jpg",
  "Voice" : "zhichu",
  "LoopMotion": true,
  "SpeechRate": 100,
  "PitchRate": 10, 
  "Volume": 10 
}

OutputConfig 示例:

{
  "MediaURL": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/xxx.mp4
}

返回参数

名称类型描述示例值
object

Schema of Response

RequestIdstring

Id of the request

******11-DB8D-4A9A-875B-275798******
JobIdstring

智能任务 Id

****20b48fb04483915d4f2cd8ac****
MediaIdstring

成片媒资 id

******70dcc471edaf00e6f6f4******

可以通过获取智能任务结果接口查询任务执行状态和任务结果,任务执行成功时接口返回结果示例如下.

{
	"RequestId": "2014D1A8-4143-164F-94B4-32B8F39B706D",
	"JobId": "d9367da8c7184ec7a3f24de530ac5b9a",
	"State": "Finished",
	"SmartJobInfo": {
		"Title": "default_title_2023-03-28T13:37:47Z",
		"EditingConfig": "null",
		"JobType": "AvatarVideo",
		"CreateTime": "2023-03-28T13:37:47Z",
		"ModifiedTime": "2023-03-28T13:37:47Z",
		"UserId": 1833202230108227,
		"outputConfig": {
			"mediaUrl": "https://oushu-test-shanghai.oss-cn-shanghai.aliyuncs.com/avatar/222.mp4"
		}
	},
	"JobResult": {
		"MediaId": "4aef0c80cc0071edbf92f6e7c44b6302",
		"AiResult": "{\"outputVideoUrl\":\"https://oushu-test-shanghai.oss-cn-shanghai.aliyuncs.com/avatar/222.mp4\",\"subtitleClips\":\"[{\\\"from\\\":0.0,\\\"to\\\":4.692,\\\"content\\\":\\\"君不见黄河之水天上来,奔流到海不复回。\\\"},{\\\"from\\\":4.692,\\\"to\\\":9.061,\\\"content\\\":\\\"君不见高堂明镜悲白发,朝如青丝暮成雪。\\\"}]\"}"
	}
}

其中,AiResult 格式如下:
outputVideoUrl 为输出成片地址,mp4 格式
subtitleClips 字幕句子时间戳

{
	"outputVideoUrl": "https://oushu-test-shanghai.oss-cn-shanghai.aliyuncs.com/avatar/222.mp4",
	"subtitleClips": "[{\"from\":0.0,\"to\":4.692,\"content\":\"君不见黄河之水天上来,奔流到海不复回。\"},{\"from\":4.692,\"to\":9.061,\"content\":\"君不见高堂明镜悲白发,朝如青丝暮成雪。\"}]"
}

示例

正常返回示例

JSON格式

{
  "RequestId": "******11-DB8D-4A9A-875B-275798******\n",
  "JobId": "****20b48fb04483915d4f2cd8ac****\n",
  "MediaId": "******70dcc471edaf00e6f6f4******"
}

错误码

访问错误中心查看更多错误码。

变更历史

变更时间变更内容概要操作
暂无变更历史