Data Science Workshop(DSW)にファイルをアップロードし、モデルのトレーニングと評価に使用できます。トレーニング後、予測結果をダウンロードして評価するか、モデルをダウンロードしてデプロイできます。
メソッドの選択
DSW でファイルをアップロードまたはダウンロードする場合は、ファイルサイズに基づいてメソッドを選択します。
個々のファイルサイズが 5 GB 以下の場合:
個々のサイズが 5 GB を超える場合は、OSS SDK または ossutil を使用して Object Storage Service (OSS) バケットにファイルをアップロードします。次に、OSS パスを DSW インスタンスにマウントして、直接読み書きします。
Notebook の使用上の注意
Notebook のファイル転送ステーションを使用する場合は、次の点に注意してください。
一度に最大 5 つのファイルをアップロードできます。5 つを超えるファイルをアップロードする場合、超過ファイルはキューで待機します。
フォルダはアップロードできません。 フォルダをパッケージに圧縮してパッケージをアップロードします。FAQ を参照してください。
ファイル転送ステーション内のファイルのデフォルトの有効期間は 7 日間です。ファイルの有効期限が切れる前に、ワンクリックで有効期間をさらに 7 日間延長できます。すでに期限切れのファイルは延長できません。
ファイル転送ステーションは最大 1,000 ファイル、合計サイズ 10 GB までサポートします。
Notebook の作業ディレクトリは
/mnt/workspace/
です。ダウンロードするファイルが他のディレクトリにある場合は、/mnt/workspace/
に移動してください。
Notebook を使用したファイルのアップロードまたはダウンロード
PAI コンソール にログオンし、DSW インスタンスを開きます。
[Notebook] ページでファイルをアップロードまたはダウンロードします。
エリア
アップロード/ダウンロード
操作
エリア
アップロード/ダウンロード
操作
エリア 1
アップロード
をクリックするか、ファイルをファイルリストの空白領域にドラッグしてファイルをアップロードします。システムはファイルサイズに応じてアップロード方法を決定します。
ファイルサイズが 10 MB 以下の場合、ファイルは現在のブラウザを使用してアップロードされます。
ファイルサイズが 10 MB を超え 5 GB 以下の場合、ファイルは自動的にファイル転送ステーションにアップロードされ、インスタンスに保存されます。
エリア 2
ダウンロード
ファイルを右クリックし、[ダウンロード] を選択します。ファイルがマシンにダウンロードされます。
(オプション) 左側のツールバーの
をクリックして、[ファイル転送ステーション] ページに移動します。このページでは、転送リストを表示したり、ファイルに対する操作を実行したりできます。
エリア
操作
エリア
操作
エリア 1
をクリックして、ファイル転送ステーションの転送リストを表示します。
エリア 2
管理するファイルの右側にある
をクリックして、次の操作を実行します。
ファイル転送が完了すると、ファイルは自動的にインスタンスに保存されます。ファイルを現在のインスタンスに繰り返し保存する場合は、[インスタンスに保存] をクリックします。同じ RAM ユーザーに属する他のインスタンスでファイルを使用する場合は、[インスタンスに保存] をクリックします。
ファイル転送ステーション内のファイルのデフォルトの有効期間は 7 日間です。ファイルの有効期限が切れる前に [有効期限の延長] をクリックできます。
[削除] をクリックして、ファイル転送ステーションからファイルを削除します。ファイルはファイルリストから削除されません。
WebIDE ページでのファイルのアップロードまたはダウンロード
管理する DSW インスタンスを開き、表示されるページの上部ナビゲーションバーの [WebIDE] をクリックします。
[WebIDE] ページで、左側のツールバーの
をクリックして、ファイルリストにファイルをアップロードまたはダウンロードします。
ファイルのアップロード: ファイルを保存するディレクトリを右クリックし、ショートカットメニューから [アップロード] を選択し、プロンプトに従ってファイルをアップロードします。
ファイルのダウンロード: ダウンロードするファイルを右クリックし、ショートカットメニューから [ダウンロード] を選択します。
フォルダではなく、ファイルのみをダウンロードできます。[ターミナル] ページでフォルダを圧縮し、[WebIDE] ページでパッケージを右クリックして、ショートカットメニューから [ダウンロード] を選択します。
FAQ
フォルダをアップロードまたはダウンロードするにはどうすればよいですか?
DSW はフォルダのアップロードとダウンロードをサポートしていません。ただし、フォルダをパッケージに圧縮して、パッケージをアップロードまたはダウンロードすることはできます。DSW ターミナルは、tar
、gzip
、unzip
などの標準 Linux CLI ツールを使用してファイルを圧縮できる Linux 環境を提供します。この例では、tar
を使用します。
tar --version
コマンドを実行して、tar がインストールされているかどうかを確認します。 tar がインストールされていない場合は、次のコマンドを実行して tar をインストールします。# Debian オペレーティングシステム(Ubuntu など)で使用されるインストールコマンド sudo apt install tar # Red Hat オペレーティングシステム(CentOS、Fedora など)で使用されるインストールコマンド sudo yum install tar
フォルダを圧縮するか、圧縮されたフォルダを解凍します。
# /path/to/directory ディレクトリに保存されているフォルダを圧縮します。 tar -cvf archive_name.tar /path/to/directory # 圧縮されたフォルダを解凍します。 tar -xvf archive_name.tar
参照
ファイルをアップロードした後、DSW を使い始めることができます。
DSW は、OSS、NAS ファイルシステム、MaxCompute など、さまざまなデータソースをサポートしています。