全部产品
Search
文档中心

内容安全:控制台操作指南

更新时间:Jul 24, 2024

内容安全图片审核2.0版API,基于内容治理经验和众多行业场景的常见内容管理范围,已经为您预置了风险检测范围的细分范围的开关配置。

首次使用时,建议您可以登录控制台-规则配置查看初始的检测范围开关配置。

应用场景

当您的业务遇到如下场景时,您可以基于阿里云提供的图片审核2.0版控制台实现对检测规则和检测范围的个性化调整,也可以通过控制台查询检测结果、统计检测量。

应用场景

说明

调整图片的风险检测范围

您可以根据行业常见特性或自身业务所需,对检测的范围和风险检测的细项进行调整。

通用基线检测(baselineCheck_global)可调整范围:色情内容检测、性感内容检测、暴恐内容检测、违禁内容检测、旗帜内容检测、不良内容检测、谩骂内容检测等。

例如,您的业务中存在较多泳衣服装的展示,您希望类似的图片不要被列为存在风险,可以通过控制台将存在相关元素的细项检测开关调整为关闭。

为多个业务设置差异化的风险检测范围

如您有多个业务需要用到同一个服务(service),但是希望每个业务设置的风险检测范围不同,则可以通过复制service实现不同业务设置不同检测范围的需求。

例如,您有A、B、C三个业务都需要用到通用基线检测(baselineCheck)服务,但是三个业务标准不一致,您可以通过控制台复制baselineCheck服务,创建baselineCheck_01,baselineCheck_02服务,通过对这3个service设置不同的风险检测范围,从而满足不同业务的需求。

专项检测或应急治理特定已知的图片

在您的图片审核和检测的业务中,如有以下业务需求,可以通过图片审核2.0版的控制台和API实现专项治理。

  • 对某些突发性的事件的图片,需要被直接检测为存在风险。

  • 对影响业务或者平台秩序的特定图片,需要直接被检测为存在风险。例如,导流的广告图片。

  • 对在私域社区具有特色含义的图片,需要直接被检测为存在风险。例如,社区网暴图片。

对可信的图片免除风险检测

您可以根据图片的来源或者用途判断某些图片属于可信和可传播的内容,为避免被内容安全的认知和检测算法打上风险标签,您希望对可信的图片库免除风险检测。

例如,您业务或平台自身创建的营销素材、官方图片、人工已审核过的权威头像等。

对图片中文字进行自定义检测配置

针对图片中的文字,您可以进行自定义词库的设置,用于忽略或者命中某些关键词。

  • 忽略词:您可以增加一些关键词用于忽略图片中的相关文字,从而避免某些关键词命中了违规风险。

  • 命中词:您也可以增加一些关键词用于命中图片中的文字,从而对一些特殊的词进行风险检测。

逐条查询图片检测的详细结果

如您对于近期检测的图片,有进一步细节查看和分析的需求,可以通过结果查询页面查看或搜索。

统计近期图片检测量级

如您有统计和查看近期图片检测量级的需求,可以通过用量统计页面实现。

前提条件

访问内容审核2.0版页面,开通图片审核2.0版服务。

说明

开通图片审核2.0版服务前,请先了解图片审核2.0版的计费规则。更多信息,请参见图片审核2.0版介绍及计费说明

调整图片的风险检测范围

根据行业常见特性或自身业务所需,对检测的范围和风险检测的细项进行调整,以满足业务要求。

  1. 登录内容安全控制台

  2. 在左侧导航栏,选择图片审核V2.0>规则配置

  3. 规则管理页签,以通用基线检测(baselineCheck_global)为例,单击操作设置规则

  4. 审核范围配置页面,选择需要调整的检测类型,以调整违禁内容检测为例。

    1. 违禁内容检测页签的细分场景配置中,查看当前的默认配置。例如,下图默认配置中表示对以下4项进行检测,如果命中会返回对应的标签。

      image

    2. 单击编辑进入编辑模式,修改对应检测状态。例如,下图中表示关闭第3项的检测开关。

      image

    3. 同时可以调整标签的中风险分高风险分,用于返回风险等级。

    4. 单击保存,保存新配置的检测范围。新配置的检测范围约2~5分钟生效并应用于生产环境。

为多个业务设置差异化的风险检测范围

根据不同业务的需求,对同一个service进行复制并设置不同的风险检测范围,以满足业务差异化的审核需求。

  1. 登录内容安全控制台

  2. 在左侧导航栏,选择图片审核V2.0>规则配置

  3. 规则管理页签,对需要设置不同检测范围的service进行复制,此处以复制通用基线检测(baselineCheck_global为例。

    1. 在service列表页中,单击通用基线检测操作复制按钮。

    2. 弹出复制Service面板,输入服务名称服务说明

      image.png

    3. 单击创建,保存复制service的信息,即可创建成功。新service在创建成功后1到2分钟即可调用。

    4. 创建成功之后,您可以对复制出的baselineCheck_global_01服务进行设置编辑操作。通过分别调用baselineCheck_global_01服务和baselineCheck_global服务,即可满足您不同业务设置不同风险检测范围的需求。

专项检测或应急治理特定已知的图片

针对某些可能存在风险的图片配置自定义图库,如果用户上传的图片命中所配置图库中的图片时会返回风险标签。

  1. 登录内容安全控制台

  2. 在自定义配置图库前,您需要维护图库。如果已有的图库满足您的业务要求,请跳过本步骤。

    说明

    每个账户最多可创建10个图库,图库总图片数量限制在10万张。

    • 创建图库并上传图片

      1. 在左侧导航栏,选择图片审核V2.0 > 图库管理

      2. 单击创建图库,在创建图库页签输入图库名称及备注后,单击确定

      3. 定位到创建的图库,单击操作列的图管理创建图库

      4. 单击添加图片,在弹出的添加图片对话框中,单击点击选择图片并根据指引完成图片上传。

        每次最多上传10张图片,图片限制为4 MB以内,建议图片分辨率大于256*256(px)。上传列表最多展示10张图片的上传状态,如果希望上传更多照片,请单击清空列表并继续上传图片

        添加图片-选择图片

      5. 在图库的详情页面,查看上传后的图片列表,您还可以查询图片及删除图片。

        • 查询图片:支持通过图片ID添加时间对图片进行搜索。

        • 删除图片:对图库中的图片进行删除操作,支持批量删除。

        图库管理-上传图片

    • 维护已有图库

      1. 在左侧导航栏,选择图片审核V2.0 > 图库管理

      2. 定位到要维护的图库,单击操作列的编辑修改图库名称及备注,单击操作列的图管理可以上传或删除图片。创建图库

  3. 在左侧导航栏,选择图片审核V2.0>规则配置

  4. 规则管理页签,以通用基线检测(baselineCheck_global)为例,单击操作设置规则

  5. 审核范围配置上,选择需要调整的检测类型,以调整违禁内容检测为例。

    1. 违禁内容检测自定义配置图库/词库中,查看当前配置的自定义图库信息。

      image

    2. 单击编辑进入编辑模式,选择要配置的自定义图库。

      image

    3. 单击保存,对新配置的自定义图库进行保存。

      新配置的自定义图库约2~5分钟生效并应用于生产环境。如果用户上传的图片命中所配置图库中的图片时,会返回“contraband_drug_lib”标签。

对可信的图片免除风险检测

通过对可信的图片库免除风险检测,来避免被内容安全的认知和检测算法打上风险标签。

  1. 登录内容安全控制台

  2. 在左侧导航栏,选择图片审核V2.0>规则配置

  3. 规则管理页签,单击操作设置规则

  4. 选择免审图配置页签,修改免审图配置信息。

    1. 免审图配置页签查看自定义图库列表以及图库的免审状态。

      例如,下图中所有图库都未打开免审开关。免审图配置前.png

    2. 单击编辑,开启需要免审的图库开关。

      免审图配置后

    3. 单击保存,对新配置的免审图进行保存。

      免审库开启之后约2~5分钟后生效。阿里云内容安全产品会对输入的图片与选配的图库进行逐一的相似比对。对于算法检测认为一致的图片,内容审核系统会返回 “nonLabel_lib” 的标签,其他风险标签不再返回。

对图片中文字进行自定义检测配置

针对图片中的文字,您可以进行自定义词库的配置,用于忽略或者命中某些关键词。

  1. 登录内容安全控制台

  2. 在自定义配置词库前,您需要维护词库。如果已有的词库满足您的业务要求,请跳过本步骤。

    • 文本审核增强版 > 词库管理页面,按照如下步骤配置词库。

      1. 关键词库管理页签,单击创建词库

      2. 创建词库面板,按要求填写词库信息。

        说明

        您也可以创建时暂不添加关键词,之后根据业务需要在词库中添加关键词。同一个账号下总共支持添加10万个关键词,最多可创建20个词库。单个关键词不允许超过20字,不支持输入特殊字符。

      3. 单击创建词库

        如果词库创建失败,会有具体的提示信息,您可以根据提示重新创建。

  3. 在左侧导航栏,选择图片审核V2.0>规则配置

  4. 规则管理页签,以通用基线检测(baselineCheck)为例,单击操作设置规则

  5. 对图片中的文字进行忽略词配置

    1. 忽略词配置页签查看自定义词库列表以及词库的配置状态。

      例如,下图中所有词库都未打开免审开关。

      image

    2. 单击编辑,开启需要忽略的词库开关。

      image

    3. 单击保存,对新配置的忽略词库进行保存。

      说明

      忽略词库开启之后约2~5分钟后生效。阿里云内容安全产品会忽略词库中的词后再做进一步风险检测。例如,图片中文字内容为“这里有一只小猫啊”,选择含有“一只”、“啊”字的词库用于忽略,则图片中文字风险检测时只对“这里有小猫”进行进一步风险检测。

  6. 对图片中的文字进行命中词配置

    1. 审核范围配置上,选择需要调整的检测类型,以调整违禁内容检测为例。

    2. 违禁内容检测自定义配置图库/词库中,查看当前配置的自定义词库信息。

      说明

      自定义配置图库/词库中,可以对所有结尾为tii(tii代表图片中文字检测出了风险)类型的标签设置自定义词库。

      image

    3. 单击编辑进入编辑模式,选择要配置的自定义词库。

      image

    4. 单击保存,对新配置的自定义词库进行保存。

      新配置的自定义词库约2~5分钟生效并应用于生产环境。如果用户上传的图片中文字命中所配置词库中的关键词时,会返回“contraband_drug_tii_lib”标签。

逐条查询图片检测的详细结果

对于检测的图片,支持根据requestId、tadaId、返回标签来查询具体图片的详细检测结果。

  1. 登录内容安全控制台

  2. 在左侧导航栏,选择图片审核V2.0>结果查询

  3. 结果查询页面,输入查询条件查询检测结果。

    • 支持的查询条件包括:requestId、dataId、service、返回标签。

    说明

    默认按照时间由近及远的顺序展示,最多展示5万条数据。内容安全控制台提供近30天内的结果查询,建议您对调用接口的每次返回做数据或日志存储,以便于更长时间周期的数据分析和统计。

    image.png

    如果您对审核结果有异议,可以在指定文本操作反馈下拉框中提交未违规误报违规漏过的反馈。

    • 返回标签搜索项可以根据标签进行搜索,支持同时输入多个标签,以英文逗号分割。

      image.png

    例如您希望搜索所有有命中标签的记录,则选择返回标签为!=nonLabel即可。

    • 您可以单击指定图片或者操作列的详情查看详细信息。image..png

统计近期图片检测量级

通过统计和查看近期图片检测量级,对具体图片内容制定进一步的审核或治理措施。

  1. 登录内容安全控制台

  2. 在左侧导航栏,选择图片审核V2.0>用量统计

  3. 用量统计页面,选择时间段查询用量或导出用量情况。

    • 查询用量:支持按天和按月统计用量情况,统计数据保存一年,支持查询跨度为两个月的数据。导出用量

    • 导出用量:单击页面右上角的下载图标,可以按天或者按月导出用量情况。

      导出的报表是Excel格式,只包含有调用量的数据,导出表单中出现的行头字段说明如下。

      名称

      含义

      单位

      账号uid

      导出的账号UID信息

      service

      调用检测服务信息

      用量

      调用总量

      日期

      统计日期

      日/月

    • 查看service命中情况:在用量统计之后,会显示每个有调用service的标签命中情况。分为每天调用量柱状图和标签占比矩形树图。

      • 调用量柱状图:显示每天调用的命中风险标签和没有命中风险标签的请求次数。

      • 标签占比矩形树图:显示整体标签的命中情况,以标签占比由多到少排列,相同前缀的标签会显示同样的底色。

      image.png