音频处理 - 智能媒体服务

本文为您介绍如何修改SubmitMediaProducingJob的Timeline参数来完成音频处理。

使用说明

智能生产制作支持直播流、点播和OSS素材文件的剪辑合成、特效渲染、模板生产等功能，更多详情请参见智能生产制作概述。
将一个或多个视频、音频、图片、字幕素材合成为成品，可以通过不同的Timeline参数配置提交剪辑，然后调用SubmitMediaProducingJob - 提交剪辑合成作业来完成合成。
时间线是将素材按照视频创意进行编排和特效设计的产物，时间线主要包含轨道、素材、效果3种对象，详情请参见Timeline配置说明。
如果您想通过调用SDK进行音视频剪辑，请参见安装IMS服务端SDK的准备工作。

视频调音

视频整体静音

整体静音指将视频资源中的声音进行整体消除，通过设置Effects字段实现。

说明

Gain字段表示音量增益，值为0表示静音。

成片效果	Timeline示例
	`{ "VideoTracks": [ { "VideoTrackClips": [ { "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h4.mp4", "Effects": [ { "Type": "Volume", "Gain": 0 } ] } ] } ] }`

调节音量

视频和音频都支持调节音量。

说明

视频素材的音量设置为0.5倍增益，音频素材的音量设置为2倍增益。
Gain字段表示音量增益，取值如下所示：
- 0：静音。
- 1：原始音量。
- （0，1）：小于原始音量，值越小表示音量增益越小。
- >1：表示大于原始音量，值越大表示音量增益越大。

成片效果

Timeline示例

{
  "VideoTracks": [
    {
      "VideoTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h4.mp4",
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 0.5
            }
          ]
        }
      ]
    }
  ],
  "AudioTracks": [
    {
      "AudioTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/m1.wav",
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 2
            }
          ]
        }
      ]
    }
  ]
}

视频整体静音＋音频混音

视频整体静音+音频混音指的是将原视频静音后重新配音，合成新的视频，是一个典型的配音场景。

说明

所有与音频处理相关的Clip都放入AudioTracks。
TimelineIn未设置，默认该音频在输出视频的第0秒开始叠加。
TimelineOut未设置，默认为整段音频都进行混流。如果音频的尾部超过了视频轨的总时长，则将对音频进行截断，播放持续到视频轨结束。
AudioTrackClips可以是纯音频资源，也可以是带声音的视频资源。下文中此字段与之类似，不再重复说明。

成片效果

Timeline示例

{
  "VideoTracks": [
    {
      "VideoTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h1.mp4",
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 0
            }
          ]
        }
      ]
    }
  ],
  "AudioTracks": [
    {
      "AudioTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/m1.wav"
        }
      ]
    }
  ]
}

视频整体静音 + 多音轨混音

视频整体静音+多音轨混音指的是将原视频静音并使用多个音轨混合后重新配音。

说明

视频素材保持静音，同时启用两个音轨进行混音：
- 第一个音轨截取了音频素材m1.wav的第1秒~5秒区间，从时间线2秒处开始插入，到6秒处结束，音量增益到2；
- 第二个音轨截取了音频素材speech.mp3的第2秒~10秒区间，从4秒处开始插入，到12秒处结束，音量增益到0.5。

成片效果

Timeline示例

{
  "VideoTracks": [
    {
      "VideoTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h1.mp4",
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 0
            }
          ]
        }
      ]
    }
  ],
  "AudioTracks": [
    {
      "AudioTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/m1.wav",
          "In": 1,
          "Out": 5,
          "TimelineIn": 2,
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 2
            }
          ]
        }
      ]
    },
    {
      "AudioTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/speech.mp3",
          "In": 2,
          "Out": 10,
          "TimelineIn": 4,
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 0.5
            }
          ]
        }
      ]
    }
  ]
}

音频循环播放

说明

视频静音，将音频m2.wav的4s~10s剪辑出来，在时间线2s~14s上循环播放。

成片效果

Timeline示例

{
  "VideoTracks": [
    {
      "VideoTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h4.mp4",
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 0
            }
          ]
        }
      ]
    }
  ],
  "AudioTracks": [
    {
      "AudioTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/m2.wav",
          "LoopMode": true,
          "In": 4,
          "Out": 10,
          "TimelineIn": 2,
          "TimelineOut": 14
        }
      ]
    }
  ]
}

音频淡入淡出

纯音频配置淡入淡出

通过添加"Type": "AFade"字段，实现音频的淡入淡出效果。

说明

对音频轨上的素材配置3秒淡入，4秒淡出，音量呈线性渐强/渐弱。
Afade参数参考请参见Effect Type:AFade 音频淡入淡出。

成片效果

Timeline示例

{
  "AudioTracks": [
    {
      "AudioTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/m1.wav",
          "Effects": [
            {
              "Type": "AFade",
              "SubType": "In",
              "Duration": 3,
              "Curve": "tri"
            },
            {
              "Type": "AFade",
              "SubType": "Out",
              "Duration": 4,
              "Curve": "tri"
            }
          ]
        }
      ]
    }
  ]
}

视频中的音频配置淡入淡出

与音频配置淡入淡出类似，视频的音频也可以配置淡入淡出效果。

说明

对视频轨上含有音频的媒资配置了3秒淡入，4秒淡出，音量呈线性渐强/渐弱。

成片效果

Timeline示例

{
  "VideoTracks": [
    {
      "VideoTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h4.mp4",
          "Effects": [
            {
              "Type": "AFade",
              "SubType": "In",
              "Curve": "tri",
              "Duration": 3
            },
            {
              "Type": "AFade",
              "SubType": "Out",
              "Duration": 4,
              "Curve": "tri"
            }
          ]
        }
      ]
    }
  ]
}

指定区间静音

相对于整体静音，指定区间静音增加了入出点参数的设置。

说明

将视频的第2秒到第5秒的区间进行静音，视频的剩余部分音量不变。

成片效果

Timeline示例

{
  "VideoTracks": [
    {
      "VideoTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h4.mp4",
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 0,
              "In": 2,
              "Out": 5
            }
          ]
        }
      ]
    }
  ]
}

指定配音入点

将原视频静音并重新配音时，支持指定配音的入出点。

说明

截取音频第10秒到第19秒的区间，从输出视频的第5秒开始叠加。

成片效果

Timeline示例

{
  "VideoTracks": [
    {
      "VideoTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h4.mp4",
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 0
            }
          ]
        }
      ]
    }
  ],
  "AudioTracks": [
    {
      "AudioTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/m1.wav",
          "In":10,
          "Out":19,
          "TimelineIn":5
        }
      ]
    }
  ]
}

音频降噪

包含音频流的视频和纯音频，都支持配置降噪效果。

说明

Mode取值请参考Effect Type:ADenoise 音频降噪。

成片效果

Timeline示例

{
  "VideoTracks": [
    {
      "VideoTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h4.mp4",
          "Effects": [
            {
              "Type": "ADenoise",
              "Mode": 1
            }
          ]
        }
      ]
    }
  ],
  "AudioTracks": [
    {
      "AudioTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/m1.wav",
          "Effects": [
            {
              "Type": "ADenoise",
              "Mode": 1
            }
          ]
        }
      ]
    }
  ]
}

综合配音

综合配音指视频＋多轨音频混音。

说明

视频素材h4.mp4在第4秒~6秒、第9秒~14秒音量0.8倍增益，其余区间音量保持正常。
同时启用两个音轨进行混音：
- 第一个音轨截取了音频素材m1.vaw的第10秒~17秒区间，从4秒处开始插入，到11秒处结束，音量增益到2；
- 第二个音轨截取了音频素材speech.mp3的第15秒~20秒区间，从9秒处开始插入，到14秒处结束。

成片效果

Timeline示例

{
  "VideoTracks": [
    {
      "VideoTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h4.mp4",
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 0,
              "In": 4,
              "Out": 6
            },
            {
              "Type": "Volume",
              "Gain": 0.8,
              "In": 9,
              "Out": 14
            }
          ]
        }
      ]
    }
  ],
  "AudioTracks": [
    {
      "AudioTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/m1.wav",
          "In": 10,
          "Out": 17,
          "TimelineIn": 4,
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 2
            }
          ]
        }
      ]
    },
    {
      "AudioTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/speech.mp3",
          "In": 15,
          "Out": 20,
          "TimelineIn": 9,
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 1
            }
          ]
        }
      ]
    }
  ]
}

音量归一

说明

仅适用于音视频clip，如果ALoudNorm和ADenosie或Volume一起使用时，应用顺序为：ADenoise > Volume > ALoudNorm。

对音频进行音量归一化。

成片效果

Timeline示例

{
  "AudioTracks": [
    {
      "AudioTrackClips": [
        {
          "Comment": "针对音频进行音量归一",
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/m1.wav",
          "Effects": [
            {
              "Type": "ALoudNorm",
              "Loudness": -24.0,
              "TruePeak": -2.0
            }
          ]
        },
        {
          "Comment": "针对音频进行音量归一",
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/m2.wav",
          "Effects": [
            {
              "Type": "ALoudNorm",
              "Loudness": -24.0,
              "TruePeak": -2.0
            }
          ]
        }
      ]
    }
  ]
}

对视频里的音频进行音量归一化。

成片效果

Timeline示例

{
  "VideoTracks": [
    {
      "VideoTrackClips": [
        {
          "Comment": "针对视频里的音频进行音量归一",
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h4.mp4",
          "Effects": [
            {
              "Type": "ALoudNorm",
              "Loudness": -24.0,
              "TruePeak": -2.0
            }
          ]
        },
        {
          "Comment": "针对视频里的音频进行音量归一",
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h1.mp4",
          "Effects": [
            {
              "Type": "ALoudNorm",
              "Loudness": -24.0,
              "TruePeak": -2.0
            }
          ]
        }
      ]
    }
  ]
}

音量均衡

说明

仅适用于全局，不支持单clip。

对视频中的音频进行音量均衡。

成片效果

Timeline示例

{
  "VideoTracks": [
    {
      "VideoTrackClips": [
        {
          "Comment": "针对视频中的音频进行音量均衡",
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h4.mp4"
        },
        {
          "Comment": "针对视频中的音频进行音量均衡",
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h1.mp4"
        }
      ]
    }
  ],
  "EffectTracks": [
    {
			"EffectTrackItems": [
        {
          "Type": "AEqualize",
          "Peak": 0.95,
          "Gain": 10
        }
      ]
    }
  ]
}

对音频进行音量均衡。

成片效果

Timeline示例

{
  "AudioTracks": [
    {
      "AudioTrackClips": [
        {
          "Comment": "针对音频进行音量均衡",
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/m1.wav"
        },
        {
          "Comment": "针对音频进行音量均衡",
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/m2.wav"
        }
      ]
    }
  ],
  "EffectTracks": [
    {
			"EffectTrackItems": [
        {
          "Type": "AEqualize",
          "Peak": 0.95,
          "Gain": 10
        }
      ]
    }
  ]
}

输出为音频

提取音频

提取音频指在某些场景中，需要将视频资源中的音频提取为单独的音频资源，通过创建AudioTracks并将视频资源作为AudioTrackClips传入实现。

成片效果	Timeline示例
	`{ "AudioTracks": [ { "AudioTrackClips": [ { "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h4.mp4" } ] } ] }`

音频拼接

音频拼接是指在同一个音轨将两个音频资源截取指定的区间顺序相接。

成片效果

Timeline示例

{
  "AudioTracks": [
    {
      "AudioTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/m1.wav",
          "In": 0,
          "Out": 12
        },
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/speech.mp3",
          "In": 12,
          "Out": 20
        }
      ]
    }
  ]
}

多轨纯音频混音

多轨纯音频混音指将多个音轨的音频资源进行混音。

成片效果

Timeline示例

{
  "AudioTracks": [
    {
      "AudioTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/m1.wav",
          "In": 10,
          "Out": 20,
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 2
            }
          ]
        }
      ]
    },
    {
      "AudioTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/music/speech.mp3",
          "In": 5,
          "Out": 15,
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 1
            }
          ]
        }
      ]
    }
  ]
}

智能媒体服务：音频处理

使用说明

视频调音

视频整体静音

调节音量

视频整体静音＋音频混音

视频整体静音 + 多音轨混音

音频循环播放

音频淡入淡出

纯音频配置淡入淡出

视频中的音频配置淡入淡出

指定区间静音

指定配音入点

音频降噪

综合配音

音量归一

音量均衡

输出为音频

提取音频

音频拼接

多轨纯音频混音

相关文档