全部产品
Search
文档中心

内容安全:自定义机审标准

更新时间:Jul 26, 2024

内容安全采用阿里云默认的机器审核标准为您提供内容检测服务。如果您在使用过程中发现默认的审核标准对您的业务需求过于严格或者宽松,您可以使用内容安全的自定义机审标准功能。本文介绍了如何配置自定义机审标准。

背景信息

业务场景(BizType):审核标准基于业务场景配置,每个业务场景对应一套审核标准。未配置自定义审核标准时,统一使用默认的业务场景以及对应的审核标准。配置自定义业务场景后,您必须在内容检测API的接口中传递自定义业务场景,检测才会按照自定义业务场景的标准进行。

操作步骤

  1. 登录内容安全控制台

  2. 在左侧导航栏,选择机器审核 V1.0 > 设置规则

  3. 创建业务场景。

    如果您已创建业务场景,请跳过该步骤。

    1. 机器审核页面的业务场景管理页签,单击创建业务场景

    2. 创建业务场景对话框,参考如下表格设置业务场景名称、行业模板、行业分类等信息。

      配置项

      说明

      BizType名称

      为业务场景命名。支持使用数字、英文字符、下划线(_),且不超过32个字符。

      行业模板配置

      具有行业标准的策略配置。使用行业模板的情况下,部分机审标准功能不可自定义,如不使用,则完全由您自行配置。

      行业分类

      业务所属行业分类。若传入行业分类,我们能够更好地帮助您调整策略配置。

      从现有导入

      如果您已经创建过业务场景,您可以直接导入已创建的业务场景的配置。

      描述

      对业务场景的补充说明。支持使用中英文、数字、下划线组合,不超过32个字符。

    3. 单击确定,成功创建业务场景。

  4. 设置业务场景。

    您可以配置机审标准入审数据证据转存

    • 机审标准

      不同检测场景的审核标准定义不同,具体以控制台显示为准。

      1. 机器审核页面,单击目标业务场景右侧操作列的编辑

      2. 根据实际情况选择您需要设置的机审标准。

        目前内容安全支持设置图片、视频、文本和语音的机审标准。其中,图片和视频的机审内容包括色情、涉证暴恐、不良画面和图文违规;文本和语音机审内容主要是指文本或者语音是否涉黄、涉政、辱骂、广告和违禁。

        如果您的业务中不需要某个检测场景,那么不设置对应的检测场景即可。例如,您不需要检测广告,那么在设置机审标准中不配置广告相关的内容即可。

        说明

        当您设置图片的机审标准时,您可以通过页面右侧的关联图库关联文本库关联风险库中的配置信息。

      3. 单击保存,完成自定义机审标准。

        在调用接口时,您需要传递对应的业务场景,设置的自定义机审标准才会生效。例如,检测图片涉黄风险时(请参见同步检测),请求参数scene需要传递porn,标准才会生效。

    • 入审数据

      1. 单击入审数据

      2. 入审数据页签,勾选需要流入自助审核页面的数据类型。

        关于自助审核的具体操作,请参见自助审核

    • 证据转存

      使用内容检测API时,若您希望保存机审识别的结果证据,您可以开启证据转存功能。证据转存与阿里云对象存储OSS配合使用,支持将视频、语音、图片检测中识别到的违规、疑似、正常内容转存到您指定的OSS存储空间,并返回转存文件的OSS URL链接。本文介绍了开启和配置证据转存的方法。

      证据转存目前只支持视频、语音、图片对象的检测。本文所述转存文件特指机审结果为违规(返回suggestion=block)、疑似(返回suggestion=review)或正常(返回suggestion=pass)的被检测视频、语音或者图片。

      证据转存默认关闭,若需使用,您必须开启并配置视频证据转存、语音证据转存或者图片证据转存。

      • 开启视频证据转存后,机审结果违规、疑似、正常的视频文件(含视频流)和视频截帧图片会转存到您配置的Bucket中。

      • 开启语音证据转存后,机审结果违规、疑似、正常的语音文件(含语音流)和语音分片会转存到您配置的Bucket中。

      • 开启图片证据转存后,机审结果违规、疑似、正常的图片文件会转存到您配置的Bucket中。

      1. 单击证据转存

      2. 证据转存页签,根据需要开启视频证据转存语音证据转存图片证据转存,完成相关配置。

        说明

        如果您是初次登录,则需要根据页面提示完成OSS授权,授予内容安全对对象存储服务的读写权限(复用当前OSS违规检测的授权)。如果已经完成授权,则直接进入配置页面。

        配置项

        说明

        转存Bucket

        用来存储证据文件的OSS存储空间。

        转存目录

        用户传递目录。所有证据文件按照转存规则存放在指定的用户传递目录下。更多信息,请参见转存规则说明

        说明

        若指定的目录在转存Bucket中不存在,则会自动创建。

        访问链接有效期

        证据文件转存后生成的访问链接的有效期,取值范围:300~3600(秒)。

        转存范围

        目前支持以下三种转存范围:

        • 机器识别违规:转存机器识别的违规内容。

        • 机器识别疑似:转存机器识别的疑似违规内容。

        • 机器识别正常:转存机器识别的正常内容。

      3. 单击保存

        成功配置证据转存后,在下次调用视频审核、语音反垃圾检测、图片审核并检测出违规、可疑或者正常的视频、语音或图片内容时,您将在返回参数(视频审核对应data.extras.newUrl、语音反垃圾对应data.new_urldata.result.details.url和图片审核对应data.storedUrl)中查看转存文件的OSS URL链接。您也可以前往OSS控制台,在转存Bucket中查看转存文件。

        转存规则说明

        表 1. 视频转存规则

        文件类型

        存放目录

        命名规则

        视频文件

        ${bucket}/${用户传递目录}/video/${suggestion}/${taskId}/${视频名称.后缀}

        转存的视频文件以原视频文件名称命名。

        视频截帧

        ${bucket}/${用户传递目录}/video/${suggestion}/${taskId}/frames/${截帧图片名.后缀}

        转存的截帧图片以截帧的时间点命名。例如00_01_02,表示00时01分02秒的截帧。

        视频流

        ${bucket}/${用户传递目录}/video/${suggestion}/${taskId}/${视频流名称.后缀}

        转存的视频流以开始检测时间命名。例如20190102_12_02_03.wav,表示2019年01月02号12时02分03秒开始检测的视频流。

        表 2. 语音转存规则

        文件类型

        存放目录

        命名规则

        语音文件

        ${bucket}/${用户传递目录}/audio/${suggestion}/${taskId}/${语音名称.后缀}

        转存的语音文件以原语音文件名称命名。

        语音分片

        ${bucket}/${用户传递目录}/audio/${suggestion}/${taskId}/slice/${语音分片名.后缀}

        转存的语音分片以语音开始和结束时间命名。例如00_01_02-00_10_13.mp3,表示语音中从00时01分02秒到00时10分13秒的语音片段。

        表 3. 图片转存规则

        文件类型

        存放目录

        命名规则

        图片文件

        ${bucket}/${用户传递目录}/image/${suggestion}/${taskId}/${图片名称.后缀}

        转存的图片文件以原图片文件名称命名。