全部產品
Search
文件中心

Content Moderation:自訂機審標準

更新時間:Jul 27, 2024

Alibaba Content Security Service採用阿里雲預設的機器審核標準為您提供內容檢測服務。如果您在使用過程中發現預設的審核標準對您的業務需求過於嚴格或者寬鬆,您可以使用Alibaba Content Security Service的自訂機審標準功能。本文介紹了如何配置自訂機審標準。

背景資訊

業務情境(BizType):審核標準基於業務情境配置,每個業務情境對應一套審核標準。未配置自訂審核標準時,統一使用預設的業務情境以及對應的審核標準。配置自訂業務情境後,您必須在內容檢測API的介面中傳遞自訂業務情境,檢測才會按照自訂業務情境的標準進行。

操作步驟

  1. 登入Alibaba Content Security Service控制台

  2. 在左側導覽列,選擇機器審核 V1.0 > 設定規則

  3. 建立業務情境。

    如果您已建立業務情境,請跳過該步驟。

    1. 機器審核頁面的業務情境管理頁簽,單擊建立業務情境

    2. 建立業務情境對話方塊,參考如下表格設定業務情境名稱、行業模板、行業分類等資訊。

      配置項

      說明

      BizType名稱

      為業務情境命名。支援使用數字、英文字元、底線(_),且不超過32個字元。

      行業模板配置

      具有行業標準的策略配置。使用行業模板的情況下,部分機審標準功能不可自訂,如不使用,則完全由您自行配置。

      行業分類

      業務所屬行業分類。若傳入行業分類,我們能夠更好地協助您調整策略配置。

      從現有匯入

      如果您已經建立過業務情境,您可以直接匯入已建立的業務情境的配置。

      描述

      對業務情境的補充說明。支援使用中英文、數字、底線組合,不超過32個字元。

    3. 單擊確定,成功建立業務情境。

  4. 設定業務情境。

    您可以配置機審標準入審資料證據轉存

    • 機審標準

      不同檢測情境的審核標準定義不同,具體以控制台顯示為準。

      1. 機器審核頁面,單擊目標業務情境右側操作列的編輯

      2. 根據實際情況選擇您需要設定的機審標準。

        目前Alibaba Content Security Service支援設定圖片、視頻、文本和語音的機審標準。其中,圖片和視頻的機審內容包括色情、涉證暴恐、不良畫面和圖文違規;文本和語音機審內容主要是指文本或者語音是否涉黃、涉政、辱罵、廣告和違禁。

        如果您的業務中不需要某個檢測情境,那麼不設定對應的檢測情境即可。例如,您不需要檢測廣告,那麼在設定機審標準中不配置廣告相關的內容即可。

        說明

        當您設定圖片的機審標準時,您可以通過頁面右側的關聯圖庫關聯文本庫關聯風險庫中的配置資訊。

      3. 單擊儲存,完成自訂機審標準。

        在調用介面時,您需要傳遞對應的業務情境,設定的自訂機審標準才會生效。例如,檢測圖片涉黃風險時(請參見同步檢測),請求參數scene需要傳遞porn,標準才會生效。

    • 入審資料

      1. 單擊入審資料

      2. 入審資料頁簽,勾選需要流入自助審核頁面的資料類型。

        關於自助審核的具體操作,請參見自助審核

    • 證據轉存

      使用內容檢測API時,若您希望儲存機審識別的結果證據,您可以開啟證據轉存功能。證據轉存與阿里雲Object Storage Service配合使用,支援將視頻、語音、圖片檢測中識別到的違規、疑似、正常內容轉存到您指定的OSS儲存空間,並返迴轉存檔案的OSS URL連結。本文介紹了開啟和配置證據轉存的方法。

      證據轉存目前只可使用視訊、語音、圖片對象的檢測。本文所述轉存檔案特指機審結果為違規(返回suggestion=block)、疑似(返回suggestion=review)或正常(返回suggestion=pass)的被檢測視頻、語音或者圖片。

      證據轉存預設關閉,若需使用,您必須開啟並配置視頻證據轉存、語音證據轉存或者圖片證據轉存。

      • 開啟視頻證據轉存後,機審結果違規、疑似、正常的視頻檔案(含視頻流)和視頻截幀圖片會轉存到您配置的Bucket中。

      • 開啟語音證據轉存後,機審結果違規、疑似、正常的語音檔案(含語音流)和語音分區會轉存到您配置的Bucket中。

      • 開啟圖片證據轉存後,機審結果違規、疑似、正常的圖片檔案會轉存到您配置的Bucket中。

      1. 單擊證據轉存

      2. 證據轉存頁簽,根據需要開啟視頻證據轉存語音證據轉存圖片證據轉存,完成相關配置。

        說明

        如果您是初次登入,則需要根據頁面提示完成OSS授權,授予Alibaba Content Security Service對Object Storage Service服務的讀寫權限(複用當前OSS違規檢測的授權)。如果已經完成授權,則直接進入配置頁面。

        配置項

        說明

        轉存Bucket

        用來儲存證據檔案的OSS儲存空間。

        轉存目錄

        使用者傳遞目錄。所有證據檔案按照轉存規則存放在指定的使用者傳遞目錄下。更多資訊,請參見轉存規則說明

        說明

        若指定的目錄在轉存Bucket中不存在,則會自動建立。

        訪問連結有效期間

        證據檔案轉存後產生的訪問連結的有效期間,取值範圍:300~3600(秒)。

        轉存範圍

        目前支援以下三種轉存範圍:

        • 機器識別違規:轉存機器識別的違規內容。

        • 機器識別疑似:轉存機器識別的疑似違規內容。

        • 機器識別正常:轉存機器識別的正常內容。

      3. 單擊儲存

        成功配置證據轉存後,在下次調用視頻審核、語音反垃圾檢測、圖片審核並檢測出違規、可疑或者正常的視頻、語音或圖片內容時,您將在返回參數(視頻審核對應data.extras.newUrl、語音反垃圾對應data.new_urldata.result.details.url和圖片審核對應data.storedUrl)中查看轉存檔案的OSS URL連結。您也可以前往OSS控制台,在轉存Bucket中查看轉存檔案。

        轉存規則說明

        表 1. 視頻轉存規則

        檔案類型

        存放目錄

        命名規則

        視頻檔案

        ${bucket}/${使用者傳遞目錄}/video/${suggestion}/${taskId}/${視頻名稱.尾碼}

        轉存的視頻檔案以原視頻檔案名稱命名。

        視頻截幀

        ${bucket}/${使用者傳遞目錄}/video/${suggestion}/${taskId}/frames/${截幀圖片名.尾碼}

        轉存的截幀圖片以截幀的時間點命名。例如00_01_02,表示00時01分02秒的截幀。

        視頻流

        ${bucket}/${使用者傳遞目錄}/video/${suggestion}/${taskId}/${視頻流名稱.尾碼}

        轉存的視頻流以開始檢測時間命名。例如20190102_12_02_03.wav,表示2019年01月02號12時02分03秒開始檢測的視頻流。

        表 2. 語音轉存規則

        檔案類型

        存放目錄

        命名規則

        語音檔案

        ${bucket}/${使用者傳遞目錄}/audio/${suggestion}/${taskId}/${語音名稱.尾碼}

        轉存的語音檔案以原語音檔案名稱命名。

        語音分區

        ${bucket}/${使用者傳遞目錄}/audio/${suggestion}/${taskId}/slice/${語音分區名.尾碼}

        轉存的語音分區以語音開始和結束時間命名。例如00_01_02-00_10_13.mp3,表示語音中從00時01分02秒到00時10分13秒的語音片段。

        表 3. 圖片轉存規則

        檔案類型

        存放目錄

        命名規則

        圖片檔案

        ${bucket}/${使用者傳遞目錄}/image/${suggestion}/${taskId}/${圖片名稱.尾碼}

        轉存的圖片檔案以原圖片檔案名稱命名。