智能媒体服务：Timeline配置说明

名称

类型

是否必填

描述

VideoTracks

VideoTrack[]

否，视频轨为空时，音频轨必须非空。

视频轨列表。多个轨道的层叠顺序与数组元素顺序一致，如：数组的第一个元素图层的t在最底层，第二个元素的图层在其之上，以此类推。

AudioTracks

AudioTrack[]

否，音频轨为空时，视频轨必须非空。

音频轨列表。

ImageTracks（图片轨能力已兼容合并至视频轨 VideoTracks，图片轨将不再迭代维护）

ImageTrack[]

否，存在图片轨道时，视频轨必须非空。

图片轨列表。注：

1）图片轨需叠加在视频轨之上，图片本身作为素材与视频混编时（如图片合成视频场景），请使用视频轨VideoTracks

2）多个轨道的层叠顺序与数组元素顺序一致，如：数组的第一个元素图层的t在最底层，第二个元素的图层在其之上，以此类推

SubtitleTracks

SubtitleTrack[]

否

字幕轨列表。

EffectTracks

EffectTrack[]

否

特效轨列表。

名称

类型

是否必填

描述

Type

String

否

默认为普通视频轨。

当Type=Effect时，当前轨道可当作特效轨使用，VideoTrackClips可填入EffectTrackItem。

MainTrack

Boolean

否

用于指定当前轨道是否为主轨道。默认为 False。详细介绍及示例请参见设置主轨道。

TrackShortenMode

String

否

若当前视频轨道时长比主轨道时长长时，自适应缩短当前轨道，从而实现和主轨道对齐效果，支持设置：

• AutoSpeed：对视频自动做加速处理。

TrackExpandMode

String

否

若当前视频轨道时长比主轨道时长短时，自适应扩展当前轨道，从而实现和主轨道对齐效果，支持设置：

• AutoSpeed：对视频自动做减速处理。

VideoTrackClips

VideoTrackClip[]

是

视频轨素材片段列表。

名称

类型

是否必填

描述

MainTrack

Boolean

否

用于指定当前轨道是否为主轨道。默认为 False。详细介绍及示例请参见设置主轨道。

TrackShortenMode

String

否

若当前音频轨道时长比主轨道时长长时，自适应缩短当前轨道，从而实现和主轨道对齐效果，支持设置：

• AutoSpeed：对音频自动做加速处理。

TrackExpandMode

String

否

若当前音频轨道时长比主轨道时长短时，自适应扩展当前轨道，从而实现和主轨道对齐效果，支持设置：

• AutoSpeed：对音频自动做减速处理。

AudioTrackClips

AudioTrackClip[]

是

音频轨素材片段列表。

名称

类型

是否必填

描述

ImageTrackClips（图片轨能力已兼容合并至视频轨 VideoTrackClips，图片轨将不再迭代维护）

ImageTrackClip[]

是

图片轨素材片段列表。

名称

类型

是否必填

描述

SubtitleTrackClips

SubtitleTrackClip[]

是

字幕轨素材片段列表。

名称

类型

是否必填

含义

描述

Type

String

是

当前 Clip 类型

• 固定值：AI_Avatar

MediaId

String

否

渲染数字人的音频媒资 Id

• 注意：MediaId、MediaURL 和 Content 有且仅有一个不为空

MediaURL

String

否

渲染数字人的音频文件 URL

• 注意：MediaId、MediaURL 和 Content 有且仅有一个不为空

• 支持传入「OSS 外网 Endpoint 地址」或者「其它公网可以访问的地址」

Content

String

否

渲染数字人的文字内容

• 注意：MediaId、MediaURL 和 Content 有且仅有一个不为空

• 内容字数不得少于 5 个字

AvatarId

String

否

数字人形象 Id

• 取值集合：数字人官方形象示例

Voice

String

否

声音类型

• 如果以 Content 作为输入，可以用本字段来设置声音类型

• 取值集合：智能语音效果示例。

CustomizedVoice

String

否

个性化人声

• 此处传入您在人声克隆功能中训练完成的 VoiceId，音频即可使用您的个性化人声进行生成

• 如果传入此值，Voice 将会失效

LoopMotion

Boolean

否

首尾同帧

• 如果设置此值为 true，则生成的数字人视频图像的首帧与尾帧相同，循环播放或前后拼接数字人视频时人物形象的动作和表情不会有“跳变”现象。

• 取值范围：{true, false}

• 默认值：false

SpeechRate

Integer

否

语速

• 如果以 Content 作为输入，可以用本字段来设置声音语速，取值范围：[-500, 500]，默认值：0。

  • [-500, 0，500] 对应的语速倍速区间为 [0.5, 1.0, 2.0]。

PitchRate

Integer

否

语调

• 如果以 Content 作为输入，可以用本字段来设置声音语调

• 取值范围：[-500, 500]

• 默认值：0

名称

类型

是否必填

描述

MediaId

String

否

图片轨素材对应的媒资库图片资源MediaId，或VOD图片媒资Id。

注：MediaId和MediaURL有且仅有一个不为空。

MediaURL

String

否

图片轨素材片段对应的OSS地址，格式为：https://your-bucket.oss-cn-shanghai.aliyuncs.com/your-object.mp4

注：

• MediaId和MediaURL有且仅有一个不为空。

• MediaURL 仅支持传入「OSS 外网 Endpoint 地址」

X

Float

否

表示图片左上角距离输出视频左上角的横向距离。注：支持百分比和像素两种形式。当取值为[0～0.9999]时，表示相对输出视频宽的占比。当取值为>=2的整数时，表示绝对像素。

Y

Float

否

表示图片左上角距离输出视频左上角的纵向距离。注：支持百分比和像素两种形式。当取值为[0～0.9999]时，表示相对输出视频高的占比。当取值为>=2的整数时，表示绝对像素。

Width

Float

否

表示图片在输出视频中的宽度。注：支持百分比和像素两种形式。当取值为[0～0.9999]时，表示相对输出视频宽的占比。当取值为>=2的整数时，表示绝对像素。

Height

Float

否

表示图片在输出视频中的高度。注：支持百分比和像素两种形式。当取值为[0～0.9999]时，表示相对输出视频高的占比。当取值为>=2的整数时，表示绝对像素。

TimelineIn

Float

否

图片出现在时间线的起始位置。单位：秒，精确到小数点后4位。如果TimelineIn不填，默认值为0

TimelineOut

Float

否

图片出现在时间线的结束位置。单位：秒，精确到小数点后4位。如果TimelineOut不填，默认值为视频轨的最大时长

DyncFrames

Int

否

动图的帧数，在素材为动图时必填。示例：使用GIF贴纸。

Effects

Effect[]

否

素材的效果列表

名称

类型

是否必填

描述

Type

String

是

字幕素材类型。取值：

• Subtitle 外挂字幕文件

• Text 横幅文字

SubType

String

否

字幕素材子类型。取值：

• srt 外挂srt字幕

• ass 外挂ass字幕

字幕素材类型为横幅文字时，可忽略该字段。

FileURL

String

否

字幕文件对应的OSS地址。当字幕类型为外挂字幕时必填。格式为：

https://your-bucket.oss-cn-shanghai.aliyuncs.com/your-object.srt

注：

• FileURL 支持传入「OSS 外网 Endpoint 地址」或者「其它公网可以访问的地址」

示例：外挂字幕

X

Float

否

当字幕类型为横幅文字时，表示文字左上角距离输出视频左上角的横向距离。注：支持百分比和像素两种形式。当取值为[0～0.9999]时，表示相对输出视频宽的占比。当取值为>=2的整数时，表示绝对像素。

Y

Float

否

当字幕类型为横幅文字时，表示文字左上角距离输出视频左上角的纵向距离。注：支持百分比和像素两种形式。当取值为[0～0.9999]时，表示相对输出视频高的占比。当取值为>=2的整数时，表示绝对像素。

TimelineIn

Float

否

当字幕类型为横幅文字时，表示文字出现在时间线的起始位置。单位：秒，精确到小数点后4位。如果TimelineIn不填，则会按照素材顺序相接的方式自动计算TimelineIn

TimelineOut

Float

否

当字幕类型为横幅文字时，表示文字出现在时间线的结束位置。单位：秒，精确到小数点后4位。如果TimelineOut不填，则会按照素材顺序相接的方式自动计算TimelineOut

Content

String

否

当字幕类型为横幅文字时必填，表示文字内容。

Font

String

否

当字幕类型为横幅文字时，表示文字的字体。默认为SimSun，宋体。具体支持的字体列表参见：字体列表。

FontSize

Int

否

当字幕类型为横幅文字时，表示文字的字号。默认为0，最大支持设置到5000。

SizeRequestType

String

否

当字幕类型为横幅文字时，表示将文字字号到实际文字渲染大小的计算方式，默认处理方式为RealDim。

• Nominal：字幕渲染高度（像素值）等于字号FontSize

• RealDim：在某些字体上，字幕渲染高度（像素）可能会小于字号FontSize

FontColor

String

否

当字幕类型为横幅文字时，表示文字的颜色，格式为#后跟16进制值。例如：#ffffff。

FontColorOpacity

String

否

当字幕类型为横幅文字时，表示文字的透明度，取值0-1，默认1。1为不透明，0为完全透明。

FontFace

FontFace

否

当字幕类型为横幅文字时，表示文字的字体外观。

Spacing

Int

否

当字幕类型为横幅文字时，表示横幅文字字间距。单位：像素值，默认为0。

LineSpacing

Int

否

当字幕类型为横幅文字时，表示横幅文字行间距。单位：像素值，默认为0。

Angle

Float

否

当字幕类型为横幅文字时，表示横幅文字逆时针旋转角度。单位：度，默认为0。

BorderStyle

Int

否

设置横幅文字边框和阴影格式。取值1或3，1=边框+阴影，3=不透明底框。默认为1。

Outline

Int

否

当字幕类型为横幅文字时，表示横幅文字描边宽度。单位：像素值，默认为0。

OutlineColour

String

否

当字幕类型为横幅文字时，表示横幅文字描边颜色，格式为#后跟16进制值。例如：#ffffff。

Shadow

Int

否

当字幕类型为横幅文字时，表示横幅文字投下阴影的深度，单位：像素值，默认为0。

BackColour

String

否

当字幕类型为横幅文字时，表示横幅文字阴影颜色，格式为#后跟16进制值。例如：#ffffff。

Alignment

String

否

当字幕类型为横幅文字时，用于设置定位对齐方式，默认为TopLeft，支持设置：

• TopLeft：视频左上角

• TopCenter：视频竖直中轴线上侧

• TopRight：视频右上角

• CenterLeft：视频水平中轴线左侧

• CenterCenter：视频中心位置

• CenterRight：视频水平中轴线右侧

• BottomLeft：视频左下角

• BottomCenter：视频竖直中轴线下侧

• BottomRight：视频右下角

若需要在不同对齐方式下准确定位字幕位置，建议设置以下对齐方式：

• Left，左对齐，X、Y传入字幕左上角顶点相对于视频左上角的坐标

• Center，居中对齐，X、Y传入字幕中轴线上边界交点相对于视频左上角的坐标

• Right，右对齐，X、Y传入字幕右上角顶点相对于视频左上角的坐标

AdaptMode

String

否

横幅文字当超出视频宽度或超出指定TextWidth时进行自动换行或缩放：

• AutoWrap：自动换行

• AutoScale：自动缩放

• AutoWrapAtSpaces：只在空格位置自动换行（适用于纯英文字幕自动换行场景）

TextWidth

Float

否

字幕文本框宽度，当设置AdaptMode时生效。将按照该值设置文本框宽度进行自动换行或缩放。不填写时，会按照视频宽度进行自动换行或缩放。当值大于0小于等于1时，表示相对输出视频的宽度，当值大于1时，表示绝对像素值。

FontUrl

String

否

当字幕类型为横幅文字时，支持使用用户OSS的字体文件路径来生成字幕，支持ttf、otf、woff三种格式的字体文件。例如：https://your-bucket.oss-cn-shanghai.aliyuncs.com/example-font.ttf

• 支持传入「OSS 外网 Endpoint 地址」或者「其它公网可以访问的地址」

EffectColorStyle

String

否

当字幕类型为横幅文字时，表示横幅文字花字样式类型。花字种类及效果见：花字效果示例。

SubtitleEffects

SubtitleEffect[]

否

当字幕类型为横幅文字时，表示文字多层效果。目前支持设置多层描边、多层阴影、高斯模糊效果（高斯模糊仅支持在类型为阴影时使用）和字幕背景效果。

注：

• 如果设置SubtitleEffects时，字幕轨道中Outline、Shadow字段不会再生效；

• 当设置多层描边/阴影/背景效果时，SubtitleEffects数组的顺序表示层级顺序，数组中第一个SubtitleEffect会渲染在最底层，数组中最后一个SubtitleEffect会渲染在最上层；

ScrollStartY

Float

否

配置字幕滚动效果时，表示字幕向上或者向下滚动的起点Y坐标，单位：像素值，如果小于1表示相对输出视频的高度。

ScrollEndY

Float

否

配置字幕滚动效果时，表示字幕向上或者向下滚动的终点Y坐标，单位：像素值，如果小于1表示相对输出视频的高度。

ScrollSpeed

Float

否

配置字幕滚动效果时，表示字幕每秒向上或向下滚动的速度，单位：像素/s。

AaiMotionInEffect

String

否

当字幕类型为横幅文字时，表示横幅文字入场特效类型。字幕入场特效种类及效果见：字幕特效示例。

AaiMotionIn

Float

否

当字幕类型为横幅文字时，表示横幅文字入场特效时长。单位：秒，精确到小数点后4位，如果AaiMotionIn不填，默认0.5s，如果文本时长小于0.5，则为总时长减去出场时长。

AaiMotionOutEffect

String

否

当字幕类型为横幅文字时，表示横幅文字出场特效类型。字幕出场特效种类及效果见：字幕特效示例。

AaiMotionOut

Float

否

当字幕类型为横幅文字时，表示横幅文字出场特效时长，单位秒，精确到小数点后4位，如果AaiMotionOut不填，默认0.5s，如果文本时长小于0.5，则为总文本时长。

AaiMotionLoopEffect

String

否

当字幕类型为横幅文字时，表示横幅文字循环特效类型，不可与字幕入场或者出场特效同时生效。循环特效种类以及效果见：字幕特效示例。

Ratio

Float

否

当字幕类型为横幅文字时，表示横幅文字循环特效播放速度，精确到小数点后4位。不填默认为1，大于1表示加速循环，小于1表示慢速循环。

TextureURL

String

否

当字幕类型为横幅文字时，表示字幕纹理效果，支持PNG、JPG、JPEG、BMP格式，目前仅支持传入OSS文件，例如https://your-bucket.oss-cn-shanghai.aliyuncs.com/your-image.png

BubbleStyleId

String

否

当字幕类型为横幅文字时，表示横幅文字气泡字样式类型。气泡种类及效果见：气泡字示例。

BubbleWidth

Float

否

仅在使用气泡字时生效，表示气泡底图相对于输出视频的宽，大于1表示绝对像素值，小于等于表示相对值。

BubbleHeight

Float

否

仅在使用气泡字时生效，表示气泡底图相对于输出视频的高，大于1表示绝对像素值，小于等于表示相对值。

名称

类型

是否必填

描述

Type

String

是

特效轨片段类型，支持：VFX、Filter。

SubType

String

是

特效轨片段子类型，详细见：

特效效果示例

滤镜效果示例

TimelineIn

Float

否

特效片段出现在时间线的起始位置。单位：秒，精确到小数点后4位。如果TimelineIn不填，则默认为0。

TimelineOut

Float

否

特效片段出现在时间线的结束位置。单位：秒，精确到小数点后4位。如果TimelineOut不填，则默认为视频结束时间。

Duration

Float

否

特效片段出现在时间线的持续时长。单位：秒，精确到小数点后4位。如果Duration不填，则默认为视频时长。

Duration和TimelineOut仅有一个生效。

X

Float

否

该字段仅支持SubType为mosaic_rect/blur的情况。特效区域左上角距离输出视频左上角的横向距离。

注：支持百分比和像素两种形式。当取值为[0～0.9999]时，表示相对输出视频宽的占比。当取值为>=2的整数时，表示绝对像素。

Y

Float

否

该字段仅支持SubType为mosaic_rect/blur的情况。

特效区域距离输出视频左上角的纵向距离。注：支持百分比和像素两种形式。当取值为[0～0.9999]时，表示相对输出视频高的占比。当取值为>=2的整数时，表示绝对像素。

Width

Float

否

该字段仅支持SubType为mosaic_rect/blur的情况。特效区域在输出视频中的宽度。注：支持百分比和像素两种形式。当取值为[0～0.9999]时，表示相对输出视频宽的占比。当取值为>=2的整数时，表示绝对像素。

Height

Float

否

该字段仅支持SubType为mosaic_rect/blur的情况。特效区域在输出视频中的高度。注：支持百分比和像素两种形式。当取值为[0～0.9999]时，表示相对输出视频高的占比。当取值为>=2的整数时，表示绝对像素。

名称

类型

是否必填

描述

Type

String

是

-Outline：描边

-Shadow：阴影

-Box：字幕底框

Bord

Float

否

描边/阴影宽度或高度，当大于1时，表示像素值，当大于0小于1时，表示相对文字大小的宽度或高度。

XBord

Float

否

描边/阴影宽度，当大于1时，表示像素值，当大于0小于1时，表示相对文字大小的宽度，优先级高于Bord。

YBord

Float

否

描边/阴影高度，当大于1时，表示像素值，当大于0小于1时，表示相对文字大小的高度，优先级高于Bord。

Shift

Float

否

描边/阴影左右/上下偏移量，当绝对值大于1时，表示像素值，当绝对值大于0小于1时，表示相对文字大小的偏移量，支持设置负数，效果为向上/左偏移。

XShift

Float

否

描边/阴影左右偏移量，当绝对值大于1时，表示像素值，当绝对值大于0小于1时，表示相对文字大小的左右偏移量，优先级高于Shift。

YShift

Float

否

描边/阴影上下偏移量，当绝对值大于1时，表示像素值，当绝对值大于0小于1时，表示相对文字大小的上下偏移量，优先级高于Shift。

Color

String

否

RGB颜色，格式为#后跟16进制值。例如：#ffffff。

Opacity

String

否

不透明度，1为完全不透明，0为完全透明。

Blur

Float

否

高斯模糊范围，像素值，仅支持在Type=Shadow时使用，可以实现字幕外发光效果。

Radius

Float

否

文字纯色背景圆角半径，仅支持在Type=Box时使用，可以实现字幕背景圆角效果。

ImageUrl

String

否

自定义字幕背景底图，仅支持在Type=Box时使用，可实现自定义气泡字效果，可使用BubbleWidth或BubbleHeight字段调整字幕大小，支持PNG、JPG、JPEG、BMP格式，目前仅支持传入OSS文件，例如https://your-bucket.oss-cn-shanghai.aliyuncs.com/your-image.png。

Width

Float

否

当使用自定义气泡字时必填，气泡底图源文件宽。

Height

Float

否

当使用自定义气泡字时必填，气泡底图源文件高。

TextArea

String

否

当使用自定义气泡字时必填，表示文字在气泡底图中的区域，由4个[0, 1]的浮点数用逗号拼接组成，比如传入"0.1,0.2,0.8,0.6"，表示字幕文本框左上角坐标相对气泡的位置为0.1和0.2，字幕文本框相比气泡的宽高分别为0.8和0.6。

名称

类型

是否必填

描述

Bold

Boolean

否

加粗

Italic

Boolean

否

斜体

Underline

Boolean

否

下划线

名称

类型

是否必填

描述

Type

String

是

效果类型。取值如下：

• Text（横幅文字：视频轨素材）

• DeWatermark（模糊：视频轨素材）

• Crop（裁剪：视频轨素材）

• Pad（贴边：视频轨素材）

• Scale（缩放：视频轨素材）

• Transition（转场：视频轨素材）

• VFX（特效：视频轨素材）

• Volume（音量调整：音频轨素材）

• AFade（音频淡入淡出：音频轨）

• AI_ASR（识别音频生成字幕：视频轨、音频轨素材）

SubType

String

否

效果子类型

• 当Type为Transition时，会进一步描述转场子类型。取值见：转场效果示例

• 当Type为VFX时，会进一步描述特效子类型。取值见：特效效果示例

• 当Type为Filter 时，会进一步描述滤镜子类型。取值见：滤镜效果示例