Platform For AI:ラベル付けジョブのデータセットを作成する

項目

方法1: Alibaba Cloudストレージサービスに保存されているデータの使用

方法2: オンプレミスマシンからデータをアップロード

手順

1. を作成します。Create a. マニフェストまたは. txtファイル形式の要件に基づいて、オンプレミスマシンでファイルを作成します。

2. アップロード. マニフェストまたは. txtOSSに作成したファイル。 詳細については、「簡易アップロード」をご参照ください。

3. Alibaba Cloudストレージサービスに保存されているデータに基づいてデータセットを作成します。 詳細については、「Alibaba Cloudストレージサービスに保存されているデータに基づくデータセットの作成」をご参照ください。

1. を作成します。Create a. csvまたは. xlsxファイル形式の要件に基づいて、オンプレミスマシンでファイルを作成します。

2. [iTAG] ページに移動します。

   1. PAIコンソールにログインします。

   2. 左側のナビゲーションウィンドウで、[ワークスペース] をクリックします。 [ワークスペース] ページで、管理するワークスペースの名前をクリックします。

   3. 表示されるページの左側のナビゲーションウィンドウで、[データの準備] > [iTAG] を選択します。

3. iTAGページで、[タスクセンターに移動] または [管理ページに移動] をクリックします。

4. 表示されるページで、[データ管理] タブをクリックします。 [データ管理] タブの右上隅にある [元のデータセットの作成] をクリックします。

5. [元のデータセットの作成] ダイアログボックスで、パラメーターを設定します。

   • [データのインポート] で [ローカルアップロード] を選択します。

   • [Import Format] で [File] を選択します。

   • OSSバケットおよびOSSファイルパスパラメーターを設定します。

   • クリックファイルのアップロードを選択し、. csvまたは. xlsx作成したファイル。

6. [作成] をクリックします。

ファイル名拡張子

A. マニフェストまたは. txtファイルを作成します。

A. csvまたは. xlsxファイルを作成します。

ファイル形式

{"data":{"source":"text sample 1"}}
{"data":{"source":"text sample 2"}}
{"data":{"source":"text sample 3"}}

sourceは、ラベル付けするサンプルコンテンツを示します。 sourceの値を、ラベル付けする関連テキストコンテンツに置き換える必要があります。

の列. csvまたは. xlsxファイルには、ラベルを付けるテキストコンテンツまたは画像のURLを指定できます。

ファイルデモ

textDemo1.manifest

textDemo2.csv

項目

方法1: フォルダをスキャン

方法2: オンプレミスマシンからデータをアップロード

手順

1. ラベル付けするイメージファイルをOSSバケットにアップロードし、OSSバケットのパスを取得します。 詳細は、｢簡易アップロード (Simple upload)」をご参照ください。

2. フォルダーをスキャンしてデータセットを作成します。 A. マニフェストファイルが自動的に生成されます。 詳細については、「データセットの作成と管理」をご参照ください。

1. オンプレミスのコンピューターに、イメージファイルを含むフォルダーを作成します。

2. [iTAG] ページに移動します。

   1. PAIコンソールにログインします。

   2. 左側のナビゲーションウィンドウで、[ワークスペース] をクリックします。 [ワークスペース] ページで、管理するワークスペースの名前をクリックします。

   3. 表示されるページの左側のナビゲーションウィンドウで、[データの準備] > [iTAG] を選択します。

3. iTAGページで、[タスクセンターに移動] または [管理ページに移動] をクリックします。

4. 表示されるページで、[データ管理] タブをクリックします。 [データ管理] タブの右上隅にある [元のデータセットの作成] をクリックします。 [元のデータセットの作成] ダイアログボックスで、パラメーターを設定します。

   • [データのインポート] で [ローカルアップロード] を選択します。

   • [Import Format] の [Folder] を選択します。

   • OSSバケットおよびOSSファイルパスパラメーターを設定します。

   • [フォルダのアップロード] をクリックして、作成したフォルダをアップロードします。

5. [作成] をクリックします。

ファイルの内容

{"data":{"source":"oss://****.oss-cn-hangzhou.aliyuncs.com/iTAG/pic/1.jpg"}}
{"data":{"source":"oss://****.oss-cn-hangzhou.aliyuncs.com/iTAG/pic/10.jpg"}}
{"data":{"source":"oss://****.oss-cn-hangzhou.aliyuncs.com/iTAG/pic/11.jpg"}}

sourceは、ラベル付けするサンプルコンテンツを示します。 sourceの値をOSSバケットのパスに置き換える必要があります。

ファイルデモ

• 画像ファイルのデモ: pictureDemo.manifest

• ビデオファイルのデモ: videoDemo.manifest

• オーディオファイルのデモ: audioDemo.manifest

項目

Alibaba Cloudストレージサービスに保存されているデータの使用

手順

1. を作成します。Create a. マニフェストまたは. txtファイル形式の要件に基づいて、オンプレミスマシンでファイルを作成します。

2. アップロード. マニフェストまたは. txtOSSに作成したファイル。 詳細については、「簡易アップロード」をご参照ください。

3. Alibaba Cloudストレージサービスに保存されているデータに基づいてデータセットを作成します。 詳細については、「Alibaba Cloudストレージサービスに保存されているデータに基づくデータセットの作成」をご参照ください。

ファイル名拡張子

A. マニフェストまたは. txtファイルを作成します。

ファイル形式

{"data":{"picture_url":"oss://****.oss-cn-hangzhou.aliyuncs.com/iTAG/pic/1.jpg","text":"Jack Ma established Alibaba Group in an apartment in Hangzhou with 18 founders. The first website of Alibaba Group is Alibaba.com, which is an English website that focuses on the global wholesale trade market."}}
{"data":{"picture_url":"oss://****.oss-cn-hangzhou.aliyuncs.com/iTAG/pic/10.jpg","text":"Alibaba Group held the first West Lake Cybersecurity Conference. During the conference, commercial and opinion leaders of the Internet industry came together to discuss major issues of the industry."}}
{"data":{"picture_url":"oss://****.oss-cn-hangzhou.aliyuncs.com/iTAG/pic/11.jpg","text":"Alibaba Group raised USD 82 million from multiple investment agencies. This event became the largest private equity financing in the China Internet industry at that time."}} 

各行の先頭の「データ」は、ラベリングジョブを示す。 ラベリングジョブでは、複数のタイプのサンプルを確認できます。 サンプル名はコンマ (,) で区切ります。

次のサンプルコードは、ラベル付けジョブで画像とテキストがチェックされることを示しています。 サンプル画像の格納パスはoss:// ****.oss url 01です。 サンプルテキストはtext sample1です。

{"data":{"picture_url":"oss://****.oss url 01","text":"text sample1"}}

ファイルデモ

multiModal.manifest