映像類 - Platform For AI

iTAG提供了圖片OCR、目標檢測、映像分類的映像類標註模板，建立標註任務時，您需要根據應用情境選擇標註模板。本文為您介紹映像類標註模板的應用情境及資料結構。

背景資訊

本文介紹以下映像類標註模板的資料結構：

圖片OCR
目標檢測
映像分類

圖片OCR

圖片OCR（Optical Character Recognition）任務首先將輸入映像中的文字轉換為文字格式設定，再根據文字資訊類別對輸入映像進行分組。

應用情境
證件識別、票據識別、車牌識別及銀行卡識別等。

資料結構

輸入資料
manifest檔案的每行資料是一道題目，且每行資料必須包含source欄位。
```
{"data":{"source":"oss://****.oss-cn-hangzhou.aliyuncs.com/demo_test/ocr_pic/img6.jpeg"}}
...
```

輸出資料

manifest檔案的每行資料由題目和標註結果一起產生。每行資料的JSON結構如下。

{
    "data": {
        "source": "oss://****.oss-cn-hangzhou.aliyuncs.com/demo_test/ocr_pic/img6.jpeg"
    }, 
    "label-144863699223676****": {
        "results": [
            {
                "questionId": "1", 
                "data": [
                    {
                        "id": "ecdb7552-2a4e-4d0e-8abb-0f1a2dc0****", 
                        "type": "image/polygon", 
                        "value": [
                            [
                                368.1112214498511, 
                                71.72740814299901
                            ], 
                            [
                                444.34359483614696, 
                                71.72740814299901
                            ], 
                            [
                                444.34359483614696, 
                                106.26762661370405
                            ], 
                            [
                                368.1112214498511, 
                                106.26762661370405
                            ]
                        ], 
                        "labels": {
                            "OCR識別結果": "理財顧問", 
                            "單選": "標籤1"
                        }
                    }
                ], 
                "rotation": 0, 
                "markTitle": "OCR標籤配置", 
                "width": 1024, 
                "type": "image", 
                "height": 1024
            }
        ]
    }
}

目標檢測

目標檢測（Object Detection）標註任務是對映像中的具體目標進行定位，常用矩形框工具。

應用情境
車輛檢測、行人檢測及圖片搜尋等。

資料結構

輸入資料
manifest檔案的每行資料是一道題目，且每行資料必須包含source欄位。
```
{"data":{"source":"oss://****.oss-cn-hangzhou.aliyuncs.com/pic_ocr/img17.jpeg"}}
...
```

輸出資料

manifest檔案的每行資料由題目和標註結果一起產生。每行資料的JSON結構如下。

{
    "data": {
        "source": "oss://****.oss-cn-hangzhou.aliyuncs.com/pic_ocr/img17.jpeg"
    }, 
    "label-144853549785619****": {
        "results": [
            {
                "questionId": "1", 
                "data": [
                    {
                        "id": "e02a574b-9fd9-45e9-8c8a-9682567b****", 
                        "type": "image/polygon", 
                        "value": [
                            [
                                499.93454545454546, 
                                255.0981818181818
                            ], 
                            [
                                911.0109090909091, 
                                255.0981818181818
                            ], 
                            [
                                911.0109090909091, 
                                338.6836363636363
                            ], 
                            [
                                499.93454545454546, 
                                338.6836363636363
                            ]
                        ], 
                        "labels": {
                            "單選": "標籤1"
                        }
                    }
                ], 
                "rotation": 0, 
                "markTitle": "目標檢測標籤配置", 
                "width": 1024, 
                "type": "image", 
                "height": 1024
            }
        ]
    }
}

映像分類

映像分類（Image Classification）是指從一組固定的分類標籤集合中，找到與輸入映像內容相匹配的一個或多個分類標籤，並將其分配給該輸入映像。該模板支援單標籤和多標籤映像分類。

應用情境
圖片分類、拍照識圖、圖片搜尋及內容推薦等。

資料結構

輸入資料
manifest檔案的每行資料是一道題目，且每行資料必須包含source欄位。
```
{"data":{"source":"oss://****.oss-cn-hangzhou.aliyuncs.com/iTAG/pic/1.jpg"}}
...
```

輸出資料

manifest檔案的每行資料由題目和標註結果一起產生。每行資料的JSON結構如下。

{
    "data": {
        "source": "oss://****.oss-cn-hangzhou.aliyuncs.com/pic/3.jpg"
    }, 
    "label-143082452899667****": {
        "results": [
            {
                "questionId": "2", 
                "data": [
                    "標籤1", 
                    "標籤2"
                ], 
                "markTitle": "多選", 
                "type": "survey/multivalue"
            }
        ]
    }
}