語音類 - Platform For AI

iTAG提供了音頻分類、音頻分割、音頻識別的語音類標註模板，建立標註任務時，您需要根據應用情境選擇標註模板。本文為您介紹語音類模板的應用情境及資料結構。

背景資訊

本文介紹以下語音類標註模板的資料結構：

音頻分類
音頻分割
音頻識別

音頻分類

音頻分類（Audio Classification）是指從一組固定的分類標籤集合中，找到與輸入音頻內容相匹配的一個或多個分類標籤，並將其分配給該輸入音頻。該模板支援單標籤和多標籤音頻分類。

應用情境
情境聲音分類等。

資料結構

輸入資料
manifest檔案的每行資料是一道題目，且每行資料必須包含source欄位。
```
{"data":{"source":"oss://tongxin-lly.oss-cn-hangzhou.aliyuncs.com/iTAG/audio/1.wav"}}
...
```

輸出資料

manifest檔案的每行資料由題目和標註結果一起產生。每行資料的JSON結構如下。

{
    "data": {
        "source": "oss://itag.oss-cn-hangzhou.aliyuncs.com/tongxin_audio/6.wav"
    },
    "label-1432993193909231616": {
        "results": [
            {
                "questionId": "1", 
                "data": "標籤1", 
                "markTitle": "單選", 
                "type": "survey/value"
            }
        ]
    }
}

音頻分割

音頻分割（Audio segmentation）是指將一段音頻通過識別後，利用波形圖將音頻分割成多段，並匹配上不同的標籤內容。

應用情境
對話內容分析等。

資料結構

輸入資料
manifest檔案的每行資料是一道題目，且每行資料必須包含source欄位。
```
{"data":{"source":"oss://tongxin-lly.oss-cn-hangzhou.aliyuncs.com/iTAG/audio/1.wav"}}
...
```

輸出資料

manifest檔案的每行資料由題目和標註結果一起產生。每行資料的JSON結構如下。

{
    "data": {
        "source": "oss://itag.oss-cn-hangzhou.aliyuncs.com/tongxin_audio/21.wav"
    }, 
    "label-1435480301706092544": {
        "results": [
            {
                "duration": 0, 
                "objects": [
                    {
                        "result": {
                            "音頻識別結果": "通過音頻識別得到的結果內容1。", 
                            "單選": "標籤1"
                        }, 
                        "color": null, 
                        "id": "wavesurfer_ei0aet9uvp8", 
                        "start": 2.3886218302094817, 
                        "end": 4.635545755237045
                    }, 
                    {
                        "result": {
                            "音頻識別結果": "通過音頻識別得到的結果內容2。", 
                            "單選": "標籤2"
                        }, 
                        "color": null, 
                        "id": "wavesurfer_kl39gnlb2k", 
                        "start": 5.698280044101433, 
                        "end": 7.348048511576626
                    }
                ], 
                "empty": false
            }
        ]
    }
}

音頻識別

音頻識別ASR是指將一段音頻識別為常值內容，同時可以進行相應標籤的匹配。

應用情境
方言識別等。

資料結構

輸入資料
manifest檔案的每行資料是一道題目，且每行資料必須包含source欄位。
```
{"data":{"source":"oss://tongxin-lly.oss-cn-hangzhou.aliyuncs.com/iTAG/audio/1.wav"}}
...
```

輸出資料

manifest檔案的每行資料由題目和標註結果一起產生。每行資料的JSON結構如下。

{
    "data": {
        "source": "oss://itag.oss-cn-hangzhou.aliyuncs.com/tongxin_audio/14.wav"
    }, 
    "label-1435448359497441280": {
        "results": [
            {
                "questionId": "1", 
                "data": "通過音頻識別得到的結果內容。", 
                "markTitle": "音頻識別結果", 
                "type": "survey/value"
            }, 
            {
                "questionId": "3", 
                "data": [
                    "標籤1", 
                    "標籤2"
                ], 
                "markTitle": "多選", 
                "type": "survey/multivalue"
            }
        ]
    }
}