このトピックでは、Intelligent Media Management (IMM) のワークフローテンプレートとサポートされているオペレーターについて説明します。
概要
IMM でプロジェクトまたはデータセットを作成する際に、プロジェクトまたはデータセットのワークフローテンプレートを指定できます。ワークフローテンプレートは、実行されるワークフローを指定します。オブジェクトストレージサービス (OSS) や写真およびドライブサービスなどのサービスに保存されているファイルのメタデータをインデックス付けする場合、IMM は指定されたワークフローテンプレートに対応するオペレーターを使用してメタデータを収集し、メタデータストレージエンジンにメタデータをインデックス付けします。
使用上の注意
OSS バケットをバインドする場合、または IndexFileMeta オペレーションまたは BatchIndexFileMeta オペレーションを呼び出すことによってメタデータをインデックス付けする場合、使用されるオペレーターは、データセットとプロジェクトに指定されたワークフローテンプレートによって決定されます。
データセットにメタデータインデックスを作成する場合、データセットに指定されたワークフローテンプレートは、データセットが属するプロジェクトに指定されたワークフローテンプレートよりも優先されます。データセットに空のワークフローテンプレートが指定されている場合は、プロジェクトのワークフローテンプレートが使用されます。
ワークフローテンプレートは、ビデオトランスコーディング、顔検出、画像スコアリング、顔クラスタリングなどのアクションを実行するためのプロアクティブな API オペレーション呼び出しを制限するものではありません。ただし、インデックスにメタデータが存在しない場合、これらのアクションは有効にならない可能性があります。
インデックス付けには、オペレーター料金とインデックスストレージ料金が発生します。詳細については、課金対象項目 を参照してください。
ワークフローテンプレート
次の表に、IMM が提供するワークフローテンプレートを示します。
TemplateId | 説明 |
Official:DefaultEmptyId | 空のワークフローテンプレート。 メタデータインデックスを作成する場合、オペレーターは使用されず、メタデータは収集されません。 |
Official:OSSBasicMeta | OSS から基本的なメタデータを収集するために使用されるワークフローテンプレート。 メタデータインデックスを作成する場合、OSSMeta オペレーターを使用して、OSS に保存されているオブジェクトの基本的なメタデータを収集します。 |
Official:AllFunction | フル機能のワークフローテンプレート (テスト専用)。 メタデータインデックスを作成する場合、すべてのオペレーターを使用して、OSS 内のオブジェクトの基本的なメタデータ、多目的インターネットメール拡張 (MIME) 情報、顔情報、ラベル、画像品質スコア、位置情報、ビデオ情報、交換可能画像ファイル形式 (EXIF) データ、ドキュメントコンテンツなどのメタデータを収集します。 重要 このワークフローテンプレートには、すべての IMM 機能のオペレーターが含まれています。これはテスト専用です。IMM は、機能の可用性に基づいて、ワークフローテンプレートにオペレーターを追加または削除します。オペレーターの追加または削除によって課金に変更が生じる可能性があることに注意してください。 特定の機能セットのみが必要な場合は、対応するワークフローテンプレートを選択してください。 |
Official:FaceManagement | 顔認識用のワークフローテンプレート。 メタデータインデックスを作成する場合、ワークフローテンプレートは画像内の顔を検出し、顔をインデックス付けします。このワークフローテンプレートを顔クラスタリングオペレーションと一緒に使用して、アルバムアプリケーションに顔ベースの写真グループ化機能を追加したり、顔検索オペレーションと組み合わせてアクセス制御と出席追跡を実装したりできます。 |
Official:ImageManagement | 画像管理用のワークフローテンプレート。 このワークフローテンプレートは、サイズ、場所、顔、タグなどの画像情報を収集します。このテンプレートを使用して、フル機能のインテリジェントアルバムアプリケーションを作成できます。 |
Official:CognitionImageManagement | セマンティック画像検索用のワークフローテンプレート このワークフローテンプレートは、サイズ、場所、顔、タグなどの画像情報の分析に加えて、画像の理解を可能にします。SemanticQuery オペレーションと一緒に使用すると、画像のセマンティクスに基づいて、より高度で正確な画像検索機能を実装できます。セマンティック画像検索により、大規模言語モデルを搭載したインテリジェントなアルバムアプリケーションを作成できます。 重要 このワークフローテンプレートは、中国 (北京) リージョンでのみ使用可能であり、招待制プレビューとして無料で提供されています。このワークフローテンプレートを使用する場合は、アカウントマネージャーに連絡するか、チケットを送信してください。 |
Official:DocumentManagement | 全文検索用のワークフローテンプレート。 このワークフローテンプレートは、ドキュメントからテキストを取得し、テキストをインデックス付けします。このワークフローテンプレートを検索オペレーションで使用して、全文検索機能を実装できます。 |
Official:MediaMeta | メディア管理用のワークフローテンプレート。 このワークフローテンプレートは、画像やビデオなどのファイルからマルチメディア情報を抽出します。マルチメディア情報には、ファイルサイズ、作成時刻、場所、期間、エンコーディング形式などが含まれます。このワークフローテンプレートは、メディアファイルのグループ化、管理、統計などのビジネスシナリオで使用できます。 |
Official:CognitionDocumentManagement | セマンティックテキスト検索用のワークフローテンプレート。 このワークフローテンプレートは、ドキュメント内のテキストを分析して、大規模言語モデルに基づいてコンテンツ理解を提供します。SemanticQuery オペレーションと一緒に使用すると、セマンティックドキュメント検索を実装できます。 重要 このワークフローテンプレートは、中国 (北京) リージョンでのみ使用可能であり、招待制プレビューとして無料で提供されています。このワークフローテンプレートを使用する場合は、アカウントマネージャーに連絡するか、チケットを送信してください。 |
オペレーター
次の表に、IMM でサポートされているオペレーターを示します。
オペレーターには料金が発生します。詳細については、オペレーターと課金対象項目 を参照してください。
オペレーター | 説明 |
OSSMeta | オブジェクト名、オブジェクトタイプ、オブジェクトサイズ、オブジェクトハッシュ、変更時刻、ETag、タグなど、OSS からメタデータを収集します |
MIME | MIME データを収集します。 |
FaceDetection | 顔データを収集します。 |
LabelClassification (画像用) | 画像ラベル情報を収集します。 |
LabelClassification (ビデオ用) | ビデオラベル情報を収集します。 |
ImageScoring | 画像スコアを生成します。 |
ExtractImageEmbeddings | 画像特徴を収集します。 |
ReGEO | 地理位置情報を収集します。 |
MediaMeta | ビデオ情報を収集します。 |
EXIF | EXIF データを収集します。 |
ExtractDocumentText | ドキュメント情報を抽出します。 |
ワークフローテンプレートとサポートされているオペレーター
次の表に、個々のワークフローテンプレートでサポートされているオペレーターを示します。チェックマーク (✓) は、オペレーターがサポートされていることを示します。クロス記号 (X) は、オペレーターがサポートされていないことを示します。
TemplateId | オペレーター | |||||||||
OSSMeta | MIME
| FaceDetection
| LabelClassification
| ImageScoring
| ExtractImageEmbeddings
| ReGEO
| MediaMeta
| EXIF
| ExtractDocumentText
| |
Official:DefaultEmptyId | X | X | X | X | X | X | X | X | X | X |
Official:OSSBasicMeta | ✓ | X | X | X | X | X | X | X | X | X |
Official:AllFunction | ✓ | ✓ | ✓ (ビデオファイルと画像ファイル用) | ✓ (ビデオファイルと画像ファイル用) | ✓ | X | ✓ | ✓ | ✓ | ✓ |
Official:FaceManagement | ✓ | X | ✓ (ビデオファイルと画像ファイル用) | X | X | X | X | X | X | X |
Official:ImageManagement | ✓ | ✓ | ✓ | ✓ | ✓ | X | ✓ | X | ✓ | X |
Official:CognitionImageManagement | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | X | ✓ | X |
Official:DocumentManagement | ✓ | ✓ | X | X | X | X | X | X | X | ✓ |
Official:MediaMeta | ✓ | ✓ | X | X | X | X | ✓ | ✓ | ✓ | X |
Official:CognitionDocumentManagement | ✓ | ✓ | X | X | X | X | X | X | X | X |
ワークフローテンプレートの使用例
このセクションでは、Official:AllFunction ワークフローテンプレートを例として使用して、ワークフローテンプレートの使用方法について説明します。
CreateDataset オペレーションを呼び出して、test-project プロジェクトに allfunction という名前のデータセットを作成し、データセットに Official:AllFunction テンプレートを指定します。詳細については、データセットの作成 を参照してください。
リクエストの例
{ "ProjectName": "test-project", "DatasetName": "allfunction", "Description": "Dataset that uses the full-featured workflow template", // フル機能のワークフローテンプレートを使用するデータセット "TemplateId": "Official:AllFunction" }
レスポンスの例
{ "RequestId": "9AB4BD43-C4E5-06AA-A8AB-****", "Dataset": { "FileCount": 0, "BindCount": 0, "ProjectName": "test-project", "CreateTime": "2022-07-08T10:43:32.429344821+08:00", "DatasetMaxTotalFileSize": 90000000000000000, "DatasetMaxRelationCount": 100000000000, "DatasetMaxFileCount": 100000000, "DatasetName": "allfunction", "DatasetMaxBindCount": 10, "UpdateTime": "2022-07-08T10:43:32.429344821+08:00", "DatasetMaxEntityCount": 10000000000, "TotalFileSize": 0, "TemplateId": "Official:AllFunction" } }
IndexFileMeta オペレーションを呼び出して、OSS に保存されている oss://test-bucket/test-object.jpg オブジェクトのメタデータインデックスを作成します。詳細については、メタデータインデックスの作成 を参照してください。
リクエストの例
{ "ProjectName": "test-project", "DatasetName": "allfunction", "File": { "URI": "oss://test-bucket/test-object.jpg", "CustomLabels": { // カスタムラベル "category": "Persons" // カテゴリ } }, "Notification": { // 通知 "MNS": { // メッセージサービス "TopicName": "test-topic" // トピック名 } } }
レスポンスの例
{ "RequestId": "5AA694AD-3D10-0B6A-86B4-****", "EventId": "17C-1Kofq1mlJxRYF7vNGF****" }
GetFileMeta オペレーションを呼び出して、OSS に保存されている oss://test-bucket/test-object.jpg オブジェクトのメタデータをクエリします。詳細については、ファイルメタデータのクエリ を参照してください。
リクエストの例
{ "ProjectName": "test-project", "URI": "oss://test-bucket/test-object.jpg", "DatasetName": "allfunction" }
レスポンスの例
{ "RequestId": "F79E92D5-FA41-0AD6-8948-****", "Files": [ { "ProduceTime": "2020-08-19T17:11:11+08:00", "ObjectACL": "default", "ContentType": "image/jpeg", "ProjectName": "test-project", "Size": 22868, "URI": "oss://test-bucket/test-object.jpg", "Addresses": [ // 住所 { "Language": "zh-Hans", // 言語 "Township": "Tanggou Town", // 町 "AddressLine": "Chenlongzhuang, Tanggou Town, Shuyang County, Suqian City, Jiangsu Province", // 住所 "Country": "China", // 国 "City": "Suqian", // 市 "District": "Shuyang", // 地区 "Province": "Jiangsu" // 省 } ], "ObjectType": "file", "CustomLabels": { // カスタムラベル "category": "Image" // 画像 }, "OwnerId": "****", "FileModifiedTime": "2021-05-13T10:22:44+08:00", "ImageWidth": 270, "OSSStorageClass": "Standard", "MediaType": "image", "ObjectId": "75d5de2c50754e3dadd5c35dbca5f9949369e****", "CreateTime": "2022-07-08T14:34:01.400716231+08:00", "Filename": "1.jpg", "Labels": [ // ラベル { "CentricScore": 0.859000027179718, // 中心スコア "Language": "zh-Hans", // 言語 "LabelConfidence": 1, // ラベルの信頼度 "LabelName": "Female", // 女性 "LabelLevel": 2, // ラベルレベル "ParentLabelName": "Face" // 顔 }, // ... 省略 ], "Orientation": 1, "Figures": [ { "Beard": "none", // ひげ "MaskConfidence": 0.6959999799728394, // マスクの信頼度 "Gender": "female", // 性別:女性 "Boundary": { // 境界 "Left": 70, // 左 "Top": 75, // 上 "Height": 134, // 高さ "Width": 101 // 幅 }, "BeardConfidence": 1, // ひげの信頼度 "FigureId": "b51a7c91-1ce7-44d8-ae53-****", // 図ID "Mouth": "close", // 口:閉じる "Emotion": "none", // 感情:なし "Age": 25, // 年齢 "MouthConfidence": 0.996999979019165, // 口の信頼度 "FigureType": "face", // 図タイプ:顔 "GenderConfidence": 1, // 性別の信頼度 "HeadPose": { // 頭の姿勢 "Pitch": 21.562999725341797, // ピッチ "Roll": 12.322999954223633, // ロール "Yaw": 11.529999732971191 // ヨー }, // ... 省略 } ], "EXIF": "{\"Compression\":{\"value\":\"6\"},\"DateTime\":{\"value\":\"2020:08:19 17:11:11\"},\"DateTimeOriginal\":{\"value\":\"2020:08:19 17:11:11\"},\"ExifTag\":{\"value\":\"82\"},\"FileSize\":{\"value\":\"22868\"},\"Format\":{\"value\":\"jpg\"},\"GPSLatitude\":{\"value\":\"34deg \"},\"GPSLatitudeRef\":{\"value\":\"North\"},\"GPSLongitude\":{\"value\":\"119deg \"},\"GPSLongitudeRef\":{\"value\":\"East\"},\"GPSMapDatum\":{\"value\":\"WGS-84\"},\"GPSTag\":{\"value\":\"120\"},\"GPSVersionID\":{\"value\":\"2 2 0 0\"},\"ImageHeight\":{\"value\":\"270\"},\"ImageWidth\":{\"value\":\"270\"},\"JPEGInterchangeFormat\":{\"value\":\"294\"},\"JPEGInterchangeFormatLength\":{\"value\":\"2700\"},\"Orientation\":{\"value\":\"1\"},\"ResolutionUnit\":{\"value\":\"2\"},\"XResolution\":{\"value\":\"72/1\"},\"YResolution\":{\"value\":\"72/1\"}}", "ContentMd5": "HZwoCnxPZ/fvhz4o****==", "ImageHeight": 270, "ImageScore": { "OverallQualityScore": 0.6140000224113464 // 全体的な品質スコア }, // ... 省略 } ] }