使用实时音视频功能时,需要基于实时音视频应用构建通话、语聊、会议等能力。本文为您介绍创建实时音视频应用的方法。
创建实时音视频应用
配置旁路转推
登录视频直播控制台。
单击左侧导航栏
,选择需要配置的应用,单击对应操作列管理。单击旁路转推,您可以选择以下方式配置旁路转推:
方式一:指定流旁路转推
通过服务端OpenAPI针对具体的频道实时设置旁路转推(可混流)至阿里云直播或第三方平台 , 这需要您进行少量的服务端开发。
方式二:全局旁路转推至阿里云直播
开启旁路转推后,音视频将被转推至阿里云的直播中心源站,您可以基于播放域名配置转码、录制、截图等功能,或进行直播拉流观看。
开启旁路转推开关。
配置转推参数。
参数
配置选项
参数含义
旁路转推
开启或关闭
开启单路转推后,所有音视频流将被默认旁路到标准直播,转推后您仍然可以通过SDK或服务端API进行混流布局更新。
播放域名
示例:“play.example.com”
转推至标准直播后的播放域名,可以基于此域名播放直播流、配置转码、录制等。
说明若您还没有播放域名,请去域名管理添加。
播放域名不能开启超低延时直播RTS2.0,否则将会导致转推失败。
AppName
不超过255字符,支持数字、大小写字母、短划线(-)、下划线(_)、等号(=)。
默认为"live" , 允许自定义 。
转推后直播流地址中的AppName,了解生成推流地址和播放地址。
说明若您需要为转推后的流绑定转码、录制、截图等模板,需要设置该AppName与模板中的AppName一致模板才会生效。
全局自动SEI设置
定时插入SEI:根据指定时间间隔,定时插入SEI帧,允许设置时间为1000ms~5000ms ;
在I帧中插入SEI:在视频流在I帧中插入SEI。
媒体补充增强信息(SEI) : 将用户的基本信息如uid、混流布局参数等通过系统SEI的形式插入流中。例如直播连麦场景中,当混流转推布局发生变化时,对于麦下直播观众的APP可以实时解析SEI中的布局信息,以便调整交互样式 。具体请参见媒体增强信息(SEI)格式。
说明如果域名管理中不存在观众播放域名,需要先添加对应域名,具体操作请参见添加域名。
播放域名请勿开启实时直播(RTS 2.0)功能,开启后会造成旁路拉流失败。
媒体增强信息(SEI)格式
数据类型 | 参数名称 | 数值 |
视频流信息 | stream | 主播信息: uid:对应主播的用户ID。 |
主播所在窗格区域的布局信息,仅需关注以下参数:
|
若当前对uid=111 和 uid=222两个用户进行混流布局,则SEI的示例信息如下 :
{"stream":[{"uid":"111","paneid":0,"zorder":1,"x":0,"y":0.25,"w":0.5,"h":0.5,"type":0,"ms":0,"vol":1,"vad":119},{"uid":"222","paneid":1,"zorder":1,"x":0.5018382,"y":0.25,"w":0.5,"h":0.5,"type":0,"ms":0,"vol":60,"vad":123}]}
回调事件
实时音视频提供频道与用户的回调事件 、旁路与混流回调事件,本节为您介绍如何通过控制台配置对应的回调事件。
回调介绍
通过回调事件,您的业务服务器将可以实时接收实时音视频中频道、用户、旁路混流相关的状态变化:
频道回调:频道被创建、频道被解散等事件。
用户回调:用户入会、离会、角色切换、推流、拉流等事件。
旁路与混流回调:旁路转推事件。
更多频道与用户回调相关内容请参见创建订阅房间消息回调,更多旁路与混流回调相关内容请参见创建混流转推事件订阅。
创建回调任务
频道与用户回调
登录视频直播控制台。
在左侧导航栏,单击
。找到需要创建回调任务的应用,单击操作列管理,进入应用管理页面。
选择左侧导航栏事件回调>频道与用户回调,单击创建任务。
设置回调参数。参数详细说明如下:
参数
说明
回调地址
用于接收回调信息的业务服务器地址,支持HTTP和HTTPS协议。建议优先使用HTTPS协议。
回调事件范围
回调事件包含用户事件和频道事件。
用户事件含有以下事件:
入会
开始推屏幕共享流
离开
结束推视频流
角色切换
结束推音频流
开始推视频流
结束推屏幕共享流
开始推音频流
频道事件含有以下事件:
频道开始
频道结束
指定频道
非必选,当不指定频道时,默认所有频道的相关事件均会产生回调。当您指定频道时,则仅该频道的相关事件会产生回调事件。
指定用户
非必选,仅针对用户事件生效,若您指定了用户ID,则必须同时指定频道ID,可以允许输入最多20个用户ID,多个ID使用英文逗号隔开。
单击确定,完成创建。
旁路与混流回调
登录视频直播控制台。
在左侧导航栏,单击
。找到需要创建回调任务的应用,单击操作列管理,进入应用管理页面。
选择左侧导航栏事件回调>旁路与混流回调,单击配置。
设置回调参数。参数详细说明如下:
参数
说明
回调地址
用于接收回调信息的业务服务器地址,支持HTTP和HTTPS协议。建议优先使用HTTPS协议。
频道范围
非必选,指定仅接收部分频道(ChannelID)的回调,最多同时指定20个。多个ID用英文逗号“,”隔开;每个频道ID由大小写字母、数字、下划线、短划线(-)组成,最大64字符。如果不填,默认接受全部频道的回调。
编辑和删除回调记录
频道与用户回调
创建完频道与用户回调任务后,您可以继续对该任务进行更新,或将该任务删除。
进入频道与用户回调页面,找到需要更新(或删除)的任务。
单击操作列编辑(或删除)对任务进行修改(或删除)。
旁路与混流回调
创建完旁路与混流回调配置后,您可以继续对配置任务进行修改,或将该任务删除。
查看回调记录
当您创建完回调任务并生效后,若有回调事件发生,您可以在回调记录中查询该回调的详细信息。