Intelligent Media Management圍繞海量資料、端雲拉通、標準統一、智能分析、情境結合及一鍵處理六個關鍵點,採用分層架構進行設計。該分層架構由處理引擎、中繼資料管理和情境化封裝三層構成。
Intelligent Media Management採用分層架構進行設計,該架構包含處理引擎、中繼資料管理和情境化封裝三層,並且存在依賴關係的上下層應用及情境,如下圖所示。
對下依賴Object Storage Service、檔案儲存體等阿里雲儲存服務,通過安全的機制訪問阿里雲儲存中的非結構化資料(例如圖片、視頻),提取有價值的資訊。
對上基於情境理解進行封裝,支撐網盤、雲相簿、社交圖庫、家庭監控等圖片和視頻應用情境,為應用提供新的價值。

處理引擎層
基於阿里雲儲存提供就近構建計算架構,該架構支援批量非同步處理、即時同步處理,在一鍵關聯阿里雲儲存(例如指定OSS Bucket的目錄首碼、指定OSS Bucket的某個對象)後,實現快速的自動資料處理,通過整合業界先進的資料處理演算法,目前處理引擎層提供如下功能:
文檔格式轉換
支援將包括OFFICE在內的48種格式的文檔轉換為JPG、PNG、PDF、TXT、VECTOR 5種格式,可用於網盤文檔瀏覽等情境。
內容識別
識別圖片中情境、物體、事件等資訊,實現圖片的自動打標,可用於圖片內容審核、圖片檢索等情境。
臉部偵測
檢測圖片中的人臉以及人的年齡、性別、心情等,可用於相簿分類等情境。
二維碼檢測
檢測圖片中的二維碼以及二維碼中儲存的內容,可以判斷圖片中是否含有二維碼資訊,輸出二維碼包含的資訊,可用於映像內容審核等情境。
人體檢測
檢測圖片中的人體地區和信賴度,可用於異常行為檢測等情境。
人臉搜尋
搜尋與指定圖片最相似的前N張圖片,結果按相似性降序排列,可用於會員管理、相簿分類、目標人員搜尋等情境。
人臉對比
比較兩張圖片中分別最大的兩個人臉的相似性,可用於身份識別驗證等情境。
圖片盲浮水印
為圖片添加圖片或文字類型的盲浮水印。盲浮水印添加後,在圖片中不能直接看到該浮水印,但是可以通過使用Intelligent Media Management的解析圖片盲浮水印功能恢複圖中隱藏的浮水印,可用於圖片著作權追溯等情境。
中繼資料管理層
基於處理引擎層提供的功能,通過對情境的深入理解和梳理,Intelligent Media Management封裝了情境的中繼資料設計,對外提供情境的中繼資料提供者,簡化情境應用的設計難度、無需關注中繼資料索引資料庫的營運工作,目前支援的中繼資料索引如下:
人臉聚類索引
構建中繼資料集合,然後調用人臉分組的索引介面分析圖片,將得到的中繼資料加入到該中繼資料集合中,從而可以得到該集合中相似的人臉。通過該索引,可以快速的支撐網盤的人臉相簿、家庭監控的陌生人檢測、新零售的顧客管理等情境。
標籤分組索引
構建中繼資料集合,然後調用標籤分組的索引介面分析圖片,將得到的中繼資料加入到該中繼資料集合中,從而可以根據標籤搜尋圖片。通過該索引,可以快速的支撐網盤的情境相簿、家庭監控的寵物跟蹤、低俗圖片等標籤的搜尋。
情境封裝層
通過阿里雲對情境的支撐,把處理引擎層和中繼資料管理層的功能進行封裝,並按照資源套件方式提供出來,從而簡化使用,方便應用快速的接入,實現AI和情境的緊密結合,目前支援的情境執行個體如下:
文檔標準型
將文檔相關的格式轉換和預覽整合,快速實現文檔的智能管理能力。
圖片標準型
將內容識別、臉部偵測等AI功能整合,快速實現圖片的智能管理能力。