data Science Workshop (DSW) でデータファイルをアップロードおよびダウンロードできます。 アップロードしたデータファイルをモデルのトレーニングと評価に使用できます。 モデルのトレーニングが完了したら、予測結果をダウンロードしてモデルのパフォーマンスを評価したり、他のアプリケーションやシステムでのサービス展開用にトレーニング済みモデルをダウンロードしたりできます。 このトピックでは、DSWインスタンスのNotebookまたはWebIDEページでデータファイルをアップロードおよびダウンロードする方法について説明します。
背景情報
DSWでデータファイルをアップロードまたはダウンロードするときは、ファイルサイズに基づいて方法を選択できます。
ファイルサイズが5 GB以下の場合、次のいずれかの方法でデータファイルをアップロードまたはダウンロードできます。
ファイルサイズが5 GBを超える場合は、ossutilを使用してファイルをObject Storage Service (OSS) バケットにアップロードすることを推奨します。 次に、データファイルに基づいてOSSデータセットを作成し、データセットをDSWインスタンスにマウントします。 これにより、DSWインスタンスはデータファイルからデータを読み取ることができます。 詳細については、「データセットデータの読み取りと書き込み」をご参照ください。
制限事項
Notebookのファイル転送ステーションを使用してデータファイルをアップロードする場合、次の制限事項に注意してください。
一度に最大5つのデータファイルをアップロードできます。 5つ以上のデータファイルをアップロードした場合、余分なファイルはアップロードされるキューで待機します。
フォルダをアップロードできません。 フォルダーをアップロードする場合は、フォルダーをパッケージに圧縮してパッケージをアップロードすることをお勧めします。 詳細については、「FAQ」をご参照ください。
ファイル転送ステーションのデータファイルのデフォルトの有効期間は7日です。 データファイルの有効期限が切れる前に、ワンクリックでファイルの有効期間をさらに7日間延長できます。
有効期限が切れたデータファイルの有効期間を延長することはできません。
ファイル転送ステーションの容量は10 GBです。 ファイル転送ステーションには、最大1,000個のデータファイルを保存できます。
Notebookの作業ディレクトリは
/mnt/workspace/です。 ダウンロードするファイルが他のディレクトリに保存されている場合は、ファイルを/mnt/workspace/ディレクトリに移動します。
前提条件
DSWインスタンスが作成されます。 詳細については、「DSWインスタンスの作成」をご参照ください。
ノートブックページでデータファイルをアップロードまたはダウンロード
PAIコンソールにログインし、管理するDSWインスタンスを開きます。
ノートブックページでデータファイルをアップロードまたはダウンロードします。
地域
アップロード /ダウンロード
API 操作
エリア1
アップロード
アイコンをクリックするか、データファイルをファイルリストの空白の領域にドラッグして、ファイルをアップロードします。 システムは、ファイルサイズに基づいてアップロード方法を決定します。ファイルサイズが10 MB以下の場合、現在のブラウザを使用して、データファイルがDSWインスタンスにアップロードされます。
ファイルサイズが10 MB以上5 GB以下の場合、データファイルは自動的にファイル転送ステーションにアップロードされ、インスタンスに保存されます。
エリア2
ダウンロード
データファイルを右クリックし、[ダウンロード] を選択します。 データファイルはオンプレミスマシンにダウンロードされます。
(オプション) 左側のツールバーの
アイコンをクリックして、ファイル転送ステーションページに移動します。 このページで、転送リストを表示したり、データファイルに対する操作を実行したりできます。 地域
API 操作
エリア1
アイコンをクリックして、ファイル転送ステーションに転送リストを表示します。 エリア2
管理するデータファイルの右側にある
アイコンをクリックして、次の操作を実行します。ファイル転送が完了すると、データファイルは自動的にインスタンスに保存されます。 データファイルを現在のインスタンスに繰り返し保存する場合は、[インスタンスに保存] をクリックします。 同じRAMユーザーに属する他のインスタンスでデータファイルを使用する場合は、[インスタンスに保存] をクリックします。
ファイル転送ステーションのデータファイルのデフォルトの有効期間は7日です。 [有効期限の延長] をクリックすると、データファイルの有効期間が終了する前に有効期間を延長できます。
[削除] をクリックして、ファイル転送ステーションからデータファイルを削除します。 データファイルはファイルリストから削除されません。
WebIDEページでデータファイルをアップロードまたはダウンロード
管理するDSWインスタンスを開き、表示されるページの上部のナビゲーションバーで [WebIDE] をクリックします。
WebIDEページで、左側のツールバーの
アイコンをクリックして、ファイルリストにデータファイルをアップロードまたはダウンロードします。データファイルをアップロードする: データファイルを保存するディレクトリを右クリックし、ショートカットメニューから [アップロード] を選択し、プロンプトに従ってファイルをアップロードします。
データファイルをダウンロードする: ダウンロードするデータファイルを右クリックし、ショートカットメニューから [ダウンロード] を選択します。
説明データファイルのみダウンロードできます。 フォルダはダウンロードできません。 フォルダーをダウンロードする場合は、ターミナルページでフォルダーを圧縮し、WebIDEページでパッケージを右クリックして、ショートカットメニューの [ダウンロード] を選択します。
よくある質問
フォルダをアップロードまたはダウンロードするにはどうすればよいですか?
DSWはフォルダのアップロードとダウンロードをサポートしていません。 ただし、フォルダをパッケージに圧縮してパッケージをアップロードまたはダウンロードすることはできます。 DSWターミナルは、tar、gzip、unzipなどの標準のLinux CLIツールを使用してファイルを圧縮できるLinux環境を提供します。 この例では、tarが使用されます。
tar -- versionコマンドを実行して、tarがインストールされているかどうかを確認します。 tarがインストールされていない場合は、次のコマンドを実行してtarをインストールします。# Installation command used in the Debian operating systems, such as Ubuntu sudo apt install tar # Installation command used in Red Hat operating systems, such as CentOS and Fedora sudo yum install tar次のコマンドを実行して、フォルダーを圧縮または圧縮フォルダーを解凍します。
# Compress a folder that is stored in the /path/to/directory directory. tar -cvf archive_name.tar /path/to/directory # Decompress a compressed folder. tar -xvf archive_name.tar
関連ドキュメント
DSWは、PAIでの機械学習のためのクラウドベースの統合開発環境 (IDE) です。 データファイルをアップロードした後、DSWの使用を開始できます。 詳細については、「DSWの概要」をご参照ください。
DSWは、OSS、File Storage NAS (NAS) 、MaxComputeデータソースなど、さまざまなデータソースをサポートしています。 詳細については、「データの読み取りと書き込み」をご参照ください。