全部产品
Search
文档中心

视频直播:内容安全

更新时间:Dec 09, 2024

视频直播提供智能审核服务,来对直播内容的合规进行审核,包括视频审核和语音审核的功能,配合直播流禁推功能,实现直播内容安全。本文介绍智能审核的背景、介绍、使用方法、收费方式和禁推直播流的功能。

内容安全机制是利用智能审核功能对直播内容进行审核,将审核结果返回给运营人员,由运营人员管理相应的直播流,可对直播流进行禁止推送的操作。视频直播还提供了高频率智能审核的方案供您参考,您可以参见高频率智能审核解决方案

使用限制

目前仅部分直播中心支持直播智能审核,具体支持该功能的直播中心,请参见服务地域

智能审核

  • 背景

    主播推送的直播流可能有内容违规风险,视频直播服务提供了支持视频、音频的智能审核,通过自动化、智能审核媒资库资源,极大降低色情、暴恐、涉政等内容违规风险,降低人工审核成本。

  • 介绍

    智能审核服务基于海量标注数据和深度学习算法实现,从语音、视觉等多维度精准识别直播流媒体信息中包含的违禁内容,支持涉黄识别、暴恐涉政识别、广告识别、无意义直播识别、音频审核等多个功能模块。

    • 视频审核:采用截帧画面进行审核,自动检测视频直播的内容是否涉嫌违规,违规的内容将会通过回调的方式返回给用户,用户可对违规内容进行处理。

    • 语音审核:采用识别直播流中音频流的内容,自动检测语音内容是否涉嫌违规,违规的内容将会通过回调的方式返回给用户,用户可对违规内容进行处理。

    具体功能如下:

    功能名称

    Scene

    描述

    检测结果分类

    鉴黄识别

    porn

    识别直播中的色情内容。

    正常图片、性感图片、色情图片

    暴恐涉政识别

    terrorism

    识别直播中的暴恐涉政内容。

    正常图片、血腥、爆炸烟光、特殊装束、特殊标识、武器、涉政、打斗、聚众、游行、车祸现场、旗帜、地标、其他

    图文违规识别

    ad

    识别直播中的广告信息。

    正常图片、含其他广告、含牛皮癣广告、含二维码、含小程序码

    不良场景识别

    live

    识别直播中出现的黑屏、黑边、昏暗画面,画中画,抽烟,打架等不良场景图片。

    正常图片、无意义图片、画中画、吸烟、车内直播

    图片logo识别

    logo

    识别直播中出现受管控的logo和商标。

    正常图片、含受管控的logo、含商标

    语音审核

    antispam

    检测音频中是否包含垃圾信息、广告、涉政、暴恐、辱骂、色情、灌水、违规、无意义等内容。

    正常文本、含垃圾信息、广告、涉政、暴恐、辱骂、色情、灌水、违禁、无意义、自定义(例如命中自定义关键词)

  • 使用方法

  • 计费规则:智能审核包括直播图片审核和直播语音审核,图片审核以您使用审核服务的图片扫描张数为结算标准,语音审核以您使用语音审核服务的总时长为结算标准。更多信息,请参见智能审核费用

禁推直播流

视频直播提供了丰富的直播流管理功能,其中禁推直播流功能可帮助您在遇到下列情况的时候,对某路直播推流进行禁止推流的操作。

  • 鉴权推流地址暴露。

  • 用户恶意推流。

  • 业务需求。

重要

禁推直播流会让直播流加入黑名单(一段时间内将不能再进行推流),若只是想对指定直播流进行中断操作,请参见中断直播流

使用方法

  • 控制台:视频直播支持在控制台查看禁推流、设置禁推流和恢复禁推流。设置禁推流,请参见在线流管理。查看或恢复禁推流,请参见禁推流管理

  • API

    接口

    描述

    参考文档

    ForbidLiveStream

    禁止某路流的推送。

    可以配置是否只断流不加入黑名单,预设某个时刻将流恢复。

    说明

    禁止直播流的上限为10,000路,超出限制将禁用失败。调用频率限制为20次/秒。

    禁止直播流

    ResumeLiveStream

    恢复某路流的推送。

    说明

    调用频率限制为30次/秒。

    恢复直播流

    java sdk设置禁推流的示例代码如下:

            //需要<>内容替换成实际使用的值
            DefaultProfile profile = DefaultProfile.getProfile("<regionId>", "<ALIBABA_CLOUD_ACCESS_KEY_ID>", "<ALIBABA_CLOUD_ACCESS_KEY_SECRET>");
            IAcsClient client = new DefaultAcsClient(profile);
            ForbidLiveStreamRequest forbidLiveStreamRequest=new ForbidLiveStreamRequest();
            forbidLiveStreamRequest.setDomainName("<DomainName>");
            forbidLiveStreamRequest.setAppName("<AppName>");
            forbidLiveStreamRequest.setStreamName("<StreamName>");
            forbidLiveStreamRequest.setLiveStreamType("publisher");
            try {
                ForbidLiveStreamResponse forbidLiveStreamResponse = client.getAcsResponse(forbidLiveStreamRequest);
                System.out.println(new Gson().toJson(forbidLiveStreamResponse));
                // todo something.
            } catch (ServerException e) {
                // TODO Auto-generated catch block
                e.printStackTrace();
            } catch (ClientException e) {
                // TODO Auto-generated catch block
                e.printStackTrace();
            }
    说明
    • 以上示例代码表示对域名<DomainName>,<AppName>下<StreamName>的主播推流(LiveStreamType=publisher)进行禁推设置,默认禁止时间为6个月。

    • LiveStreamType目前仅支持publisher。

    • 使用JAVA SDK,具体请参见Java SDK使用说明

视频审核默认回调格式说明

只会对于有问题的视频内容进行回调通知,通知内容包含问题视频截图的审核信息和存储信息。

{
 "DomainName": "example.com",
 "AppName": "liveApp****",
 "StreamName": "liveStream****",
 "OssEndpoint": "oss-cn-hangzhou.aliyuncs.com",
 "OssBucket": "liveBucket****",
 "OssObject": "liveObject****.jpg",
 "Result": [
     {
         "BizType": "example.com",
         "Result": [
             {"Label": "Porn", "Rate":11, "Suggestion": "review", "Scene":"porn", "Extent": {}},
             {"Label": "Ad", "Rate":11, "Suggestion": "review", "Scene":"ad", "Extent": {}}
         ]
     }
 ]
}
                    

参数说明

参数

类型

描述

DomainName

String

播流域名。

AppName

String

应用名称。

StreamName

String

流名称。

OssEndpoint

String

存储对象Endpoint。

OssBucket

String

存储对象的Bucket。

OssObject

String

存储对象的文件名。

Result

JSONArray

检测结果。请参见Result

表 1. Result

参数

类型

描述

BizType

String

业务类型。可用于选择模型,默认值为域名。

Scene

String

检测场景

  • porn:鉴黄。

  • terrorism:暴恐涉政。

  • ad:图文违规。

  • live:不良场景。

  • logo:图片logo。

Label

String

检测结果的分类。不同检测场景的结果分类不同,具体如下:

  • 图片智能鉴黄(porn)结果分类:

    • normal:正常。

    • sexy:性感。

    • porn:色情。

  • 图片暴恐涉政(terrorism)结果分类:

    • normal:正常。

    • bloody:血腥。

    • explosion:爆炸烟光。

    • outfit:特殊装束。

    • logo:特殊标识。

    • weapon:武器。

    • politics:涉政。

    • violence :打斗。

    • crowd:聚众。

    • parade:游行。

    • carcrash:车祸现场。

    • flag:旗帜。

    • location:地标。

    • others:其他。

  • 图文违规(ad)结果分类:

    • normal:正常。

    • ad:其他广告。

    • npx:牛皮癣广告。

    • qrcode:含二维码。

    • programCode:含小程序码。

  • 不良场景(live)结果分类:

    • normal:正常。

    • meaningless:图片中无内容(例如,黑屏、白屏)。

    • PIP:画中画。

    • smoking:吸烟。

    • drivelive:车内直播。

  • 图片logo(logo)结果分类:

    • normal:正常。

    • TV:含受管控的logo。

    • trademark:含商标。

Rate

Float

置信度分数。取值范围:0(表示置信度最低)~100(表示置信度最高)。

说明

该值仅作为参考,强烈建议您不要在业务中使用。建议您参考Label结果用于内容违规判定。

Extent

JSONObject

预留字段。

说明

默认新用户将使用此版本,老用户维持不变,如需使用此版本,请您提交工单。关于如何提交工单,请参见联系我们

语音审核默认回调格式说明

只会对于有问题的音频内容进行回调通知,通知内容包含问题语音的文本信息以及最近一分钟内的上下文信息。

{
    "domain": "example.com",
    "app": "liveApp****",
    "stream": "5d9747eba39b44769852d276f9ff****",
    "timestamp": 1572248095,
    "result": [
        {
            "scene": "antispam",
            "label": "ad",
            "suggestion": "block",
            "rate": 99.91,
            "details": [
                {
                    "startTime": 1572248023,
                    "endTime": 1572248040,
                    "text": "大理陇川等酒店免费居住权120天居住权可与亲友共享来云栖社国际烧酒店接待中心地址芒市团结大街96号一一ktv旁咨询热线2285699",
                    "label": "ad"
                },
                {
                    "startTime": 1572248040,
                    "endTime": 1572248070,
                    "text": "典藏经典别墅尊享梁河金塔、旅游小镇二期滨湖苑地区11月2号盛大开盘天然龙窝、泉水入户户型多样,设计经典价位超值,值得您拥有开盘当天还有超值优惠,欢迎您前来品鉴,凭借地址,然和县遮岛镇先锋路229号分享热线069269557776955777",
                    "label": "normal"
                },
                {
                    "startTime": 1572248072,
                    "endTime": 1572248077,
                    "text": "快乐的时光,有你相伴惬意的日子,格外轻松。",
                    "label": "normal"
                },
                {
                    "startTime": 1572248078,
                    "endTime": 1572248086,
                    "text": "fme043忙里偷闲音乐时光有歌曲温暖,有你想念影院。",
                    "label": "normal"
                }
            ]
        }
    ]
}

参数

类型

描述

domain

String

播流域名。

app

String

应用名称。

stream

String

流名称。

timestamp

Int

回调时间戳。单位:秒。

result

JSONArray

检测结果。请参见Result

表 2. Result

参数

类型

描述

scene

String

检测场景。

label

String

检测结果的分类。取值:

  • normal:正常文本

  • spam:含垃圾信息

  • ad:广告

  • politics:涉政

  • terrorism:暴恐

  • abuse:辱骂

  • porn:色情

  • flood:灌水

  • contraband:违禁

  • meaningless:无意义

  • customized:自定义(例如命中自定义关键词)

suggestion

String

处理建议。取值:

  • pass:结果正常,无需进行其余操作。

  • review:结果不确定,需要进行人工审核。

  • block:结果违规,建议直接删除或者限制公开。

rate

Float

置信度分数。取值范围:0(表示置信度最低)~100(表示置信度最高)。

说明

该值仅作为参考,强烈建议您不要在业务中使用。建议您参考Label结果用于内容违规判定。

details

JSONArray

语音对应的文本详情,每一句文本对应一个元素,可以包含一个或者多个元素。关于每个元素的结构描述,请参见Detail

表 3. Detail

参数

类型

描述

startTime

Int

句子开始的时间戳,单位:秒。

endTime

Int

句子结束的时间戳,单位:秒。

text

String

问题语音转换成文本的结果。

label

String

检测结果的分类。取值:

  • normal:正常文本

  • spam:含垃圾信息

  • ad:广告

  • politics:涉政

  • terrorism:暴恐

  • abuse:辱骂

  • porn:色情

  • flood:灌水

  • contraband:违禁

  • meaningless:无意义

  • customized:自定义(例如命中自定义关键词)