使用Timeline配置转场、特效、滤镜 - 智能媒体服务

本文为您介绍如何修改SubmitMediaProducingJob的Timeline参数完成转场（Transition）、特效（VFX）与滤镜（Filter）处理。

使用说明

智能生产制作支持直播流、点播和OSS素材文件的剪辑合成、特效渲染、模板生产等功能，更多详情请参见智能生产制作概述。
将一个或多个视频、音频、图片、字幕素材合成为成品，可以通过不同的Timeline参数配置提交剪辑，然后调用SubmitMediaProducingJob - 提交剪辑合成作业来完成合成。
时间线是将素材按照视频创意进行编排和特效设计的产物，时间线主要包含轨道、素材、效果3种对象，详情请参见Timeline配置说明。
如果您想通过调用SDK进行音视频剪辑，请参见安装IMS服务端SDK的准备工作。

Transition转场

添加转场

在第1个视频与第2个视频之间添加向右擦除的转场效果，转场默认时长为1秒；
在第2个视频与第3个视频之间添加蔓延的转场效果，并通过Duration设置转场时长为2秒。

成片效果

Timeline示例

{
    "VideoTracks": [{
        "VideoTrackClips": [{
            "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media",
            "Effects": [{
                "Type": "Transition",
                "SubType": "wiperight"
            }]
        }, {
            "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media",
            "Effects": [{
                "Type": "Transition",
                "SubType": "perlin",
                "Duration": 2
            }]
        }, {
            "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h3.mp4"
        }]
    }]
}

添加随机转场

在第1个视频与第2个视频之间添加随机转场，SubType设置为random，表示将在所有转场中随机选择。
在第2个视频与第3个视频之间添加随机转场，SubType设置为wiperight,perlin，表示将在wiperight和perlin中随机选择一个作为转场。

成片效果

Timeline示例

{
    "VideoTracks": [{
        "VideoTrackClips": [{
            "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h1.mp4",
            "Effects": [{
                "Type": "Transition",
                "SubType": "random"
            }]
        }, {
            "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h2.mp4",
            "Effects": [{
                "Type": "Transition",
                "SubType": "wiperight,perlin"
            }]
        }, {
            "MediaURL": "http://ice-public-media.oss-cn-shanghai.aliyuncs.com/test_media/h3.mp4"
        }]
    }]
}

VFX特效

针对单个素材Clip添加特效

为第1个视频添加横向模糊特效，此时，VFX特效配置字段需要放置在对应Clip内的Effect数组中。在不指定起止时间的情况下，特效持续时长默认为对应Clip的渲染时长。

成片效果

Timeline示例

{
    "VideoTracks": [{
        "VideoTrackClips": [{
            "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h1.mp4",
            "Out": 5,
            "Effects": [{
                "Type": "VFX",
                "SubType": "h_blur"
            }]
        },{
            "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h2.mp4",
            "Out": 5
        }]
    }]
}

针对全局画面添加特效

为视频全局添加横向模糊特效，此时，VFX特效的配置字段需要放置在独立的特效轨EffectTrack中，不与任何素材Clip相关联。在不指定起止时间的情况下，特效持续时长默认为成片时长。

成片效果

Timeline示例

{
    "VideoTracks": [{
        "VideoTrackClips": [{
            "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h1.mp4",
            "Out": 5
        },{
            "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h2.mp4",
            "Out": 5
        }]
    }],
    "EffectTracks": [{
        "EffectTrackItems": [{
            "Type": "VFX",
            "SubType": "h_blur"
        }]
    }]
}

针对部分时段画面添加特效

通过设置TimelineIn为3和TimelineOut为7，在成片视频的第3秒到第7秒之间添加横向模糊特效。

成片效果

Timeline示例

{
    "VideoTracks": [{
        "VideoTrackClips": [{
            "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h1.mp4",
            "Out": 5
        },{
            "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h2.mp4",
            "Out": 5
        }]
    }],
    "EffectTracks": [{
        "EffectTrackItems": [{
            "Type": "VFX",
            "SubType": "h_blur",
            "TimelineIn": 3,
            "TimelineOut": 7
        }]
    }]
}

添加随机特效

在第1个视频添加随机特效，SubType设置为random，表示将在所有特效中随机选择。
在第2个视频添加随机特效，SubType设置为movie,image_in_image，表示将在movie和image_in_image中随机选择一个作为特效。

成片效果

Timeline示例

{
    "VideoTracks": [{
        "VideoTrackClips": [{
            "MediaURL": "http://ice-public-media.oss-cn-shanghai.aliyuncs.com/test_media/h1.mp4",
            "Out": 5,
            "Effects": [{
                "Type": "VFX",
                "SubType": "random"
            }]
        }, {
            "MediaURL": "http://ice-public-media.oss-cn-shanghai.aliyuncs.com/test_media/h2.mp4",
            "Out": 5,
            "Effects": [{
                "Type": "VFX",
                "SubType": "movie,image_in_image"
            }]
        }]
    }]
}

Filter滤镜

针对单个素材Clip添加滤镜

为第1个视频素材添加灰橙滤镜，此时，Filter滤镜配置字段需要放置在对应Clip内部的Effect数组中。在不指定起止时间的情况下，滤镜持续时长默认为对应Clip的渲染时长。

成片效果

Timeline示例

{
    "VideoTracks": [{
        "VideoTrackClips": [{
            "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h1.mp4",
            "Out": 5,
            "Effects": [{
                "Type": "Filter",
                "SubType": "m7"
            }]
        },{
            "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h2.mp4",
            "Out": 5
        }]
    }]
}

针对全局画面添加滤镜

为视频全局添加灰橙滤镜，此时，Filter滤镜的配置字段需要放置在独立的特效轨EffectTrack中，不与任何素材Clip相关联。在不指定起止时间的情况下，特效持续时长默认为成片时长。

成片效果

Timeline示例

{
    "VideoTracks": [{
        "VideoTrackClips": [{
            "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h1.mp4",
            "Out": 5
        },{
            "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h2.mp4",
            "Out": 5
        }]
    }],
    "EffectTracks": [{
        "EffectTrackItems": [{
            "Type": "Filter",
            "SubType": "m7"
        }]
    }]
}

针对部分时段画面添加滤镜

通过设置TimelineIn为3和TimelineOut为7，在成片视频的第3秒到第7秒之间添加灰橙滤镜。

成片效果

Timeline示例

{
    "VideoTracks": [{
        "VideoTrackClips": [{
            "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h1.mp4",
            "Out": 5
        },{
            "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h2.mp4",
            "Out": 5
        }]
    }],
    "EffectTracks": [{
        "EffectTrackItems": [{
            "Type": "Filter",
            "SubType": "m7",
            "TimelineIn": 3,
            "TimelineOut": 7
        }]
    }]
}

视频调色

将Filter滤镜的SubType设置为color，可以为画面进行自定义调色。

在下面的示例中，设置对成片的第3到第7秒进行调色，其中调色的配置为：

降低亮度：brightness设置为-10；
提升对比度：contrast设置为10；
提升饱和度：saturation设置为10；
增加暗角效果：dark_corner_ratio设置为50。

成片效果

Timeline示例

{
    "VideoTracks": [{
        "VideoTrackClips": [{
            "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h1.mp4",
            "Out": 5
        },{
            "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h2.mp4",
            "Out": 5
        }]
    }],
    "EffectTracks": [{
        "EffectTrackItems": [{
            "Type": "Filter",
            "SubType": "color",
            "TimelineIn": 3,
            "TimelineOut": 7,
            "ExtParams": "effect=color,brightness=-10,contrast=10,saturation=10,kelvin_temperature=6000,temperature_ratio=0,tint=0,dark_corner_ratio=50"
        }]
    }]
}

添加随机滤镜

在第1个视频添加随机滤镜，SubType设置为random，将在所有滤镜中随机选择。

在第2个视频添加随机滤镜，SubType设置为pj2,pj3，将在pj2和pj3中随机选择一个作为滤镜。

成片效果

Timeline示例

{
    "VideoTracks": [{
        "VideoTrackClips": [{
            "MediaURL": "http://ice-public-media.oss-cn-shanghai.aliyuncs.com/test_media/h1.mp4",
            "Out": 5,
            "Effects": [{
                "Type": "Filter",
                "SubType": "random"
            }]
        }, {
            "MediaURL": "http://ice-public-media.oss-cn-shanghai.aliyuncs.com/test_media/h2.mp4",
            "Out": 5,
            "Effects": [{
                "Type": "Filter",
                "SubType": "pj2,pj3"
            }]
        }]
    }]
}

KenBurns镜头推拉

视频轨中支持对素材添加镜头推拉效果（KenBurns），常用于图片转视频、相册合集等场景。

如下Timeline示例的效果为：将镜头从原画面的左下方移动至右上方。

成片效果

图示

Timeline示例

{
    "VideoTracks": [{
        "VideoTrackClips": [{
            "Type": "Image",
            "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h1.png",
            "Duration": 5,
            "Effects": [{
                "Type": "KenBurns",
                "Start": "0,0.5,0.5,0.5",
                "End": "0.5,0,0.5,0.5"
            }]
        }]
    }]
}

默认效果

如果KenBurns不配置任何参数，默认效果有以下3种情况：

若素材与最终成片均为横屏或竖屏，效果为镜头缓慢拉远。
若素材为横屏，成片为竖屏，效果为镜头向右缓慢滑动。
若素材为竖屏，成片为横屏，效果为镜头向下缓慢滑动。

默认效果 1：若素材与最终成片都是横屏或都是竖屏，效果为镜头缓慢拉远

成片效果

图示

Timeline示例

{
    "VideoTracks": [{
        "VideoTrackClips": [{
            "Type": "Image",
            "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h1.png",
            "Duration": 5,
            "Effects": [{
                "Type": "KenBurns"
            }]
        }]
    }]
}

默认效果 2：若素材为横屏，成片为竖屏，效果为镜头向右缓慢滑动

成片效果

图示

Timeline示例

OutputMediaConfig示例

{
    "VideoTracks": [{
        "VideoTrackClips": [{
            "Type": "Image",
            "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h1.png",
            "Duration": 5,
            "Effects": [{
                "Type": "KenBurns"
            }]
        }]
    }]
}

通过指定Width为1080，Height为1920，设置成片为竖屏。

{
    "MediaURL": "此处传入您自己的 OSS 地址",
    "Width": 1080,
    "Height": 1920
}

默认效果 3：若素材为竖屏，成片为横屏，效果为镜头向下缓慢滑动

成片效果

图示

Timeline示例

OutputMediaConfig示例

{
    "VideoTracks": [{
        "VideoTrackClips": [{
            "Type": "Image",
            "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/v1.jpg",
            "Duration": 5,
            "Effects": [{
                "Type": "KenBurns"
            }]
        }]
    }]
}

通过指定Width为1920，Height为1080，设置成片为横屏：

{
    "MediaURL": "此处传入您自己的 OSS 地址",
    "Width": 1920,
    "Height": 1080
}

综合使用滤镜、特效、转场

下面这个示例展示了综合运用滤镜、特效、转场的效果：

在第1个与第2个视频素材之间添加随机转场。
在第2个与第3个视频素材之间添加名为蔓延的转场效果。
为第1个视频素材整体添加名为手电筒的VFX特效。
为第2个视频素材整体添加名为春芽的Filter滤镜。
为成片的第11秒至第13秒添加名为温暖的Filter滤镜。

成片效果

Timeline示例

{
    "VideoTracks": [{
        "VideoTrackClips": [{
            "MediaURL": "http://ice-public-media.oss-cn-shanghai.aliyuncs.com/test_media/h1.mp4",
            "Out": 6,
            "Effects": [{
                "Type": "Transition",
                "SubType": "random",
                "Duration": 1
            }, {
                "Type": "VFX",
                "SubType": "withcircleflashlight"
            }]
        }, {
            "MediaURL": "http://ice-public-media.oss-cn-shanghai.aliyuncs.com/test_media/h2.mp4",
            "Out": 6,
            "Effects": [{
                "Type": "Transition",
                "SubType": "perlin",
                "Duration": 1
            }, {
                "Type": "Filter",
                "SubType": "pl3"
            }]
        }, {
            "MediaURL": "http://ice-public-media.oss-cn-shanghai.aliyuncs.com/test_media/h3.mp4",
            "Out": 5
        }]
    }],
    "EffectTracks": [{
        "EffectTrackItems": [{
            "Type": "Filter",
            "SubType": "warm",
            "TimelineIn": 11,
            "TimelineOut": 13
        }]
    }]
}

智能媒体服务：转场、特效、滤镜

使用说明

Transition转场

添加转场

添加随机转场

VFX特效

针对单个素材Clip添加特效

针对全局画面添加特效

针对部分时段画面添加特效

添加随机特效

Filter滤镜

针对单个素材Clip添加滤镜

针对全局画面添加滤镜

针对部分时段画面添加滤镜

视频调色

添加随机滤镜

KenBurns镜头推拉

默认效果

默认效果 1：若素材与最终成片都是横屏或都是竖屏，效果为镜头缓慢拉远

默认效果 2：若素材为横屏，成片为竖屏，效果为镜头向右缓慢滑动

默认效果 3：若素材为竖屏，成片为横屏，效果为镜头向下缓慢滑动

综合使用滤镜、特效、转场

相关文档