MaxComputeでは、Tunnelコマンドを実行してデータをアップロードおよびダウンロードできます。 このトピックでは、Tunnelコマンドを使用してデータをアップロードおよびダウンロードする方法について説明します。
トンネル操作の詳細については、「トンネルコマンド」をご参照ください。 次の表に、トンネル操作で使用される一般的なコマンドを示します。
API 操作 | 説明 | ロール | 操作プラットフォーム |
追加モードでMaxComputeテーブルにローカルデータをアップロードします。 | テーブルに対するALTER権限を持つユーザー | このトピックで説明するコマンドをMaxComputeクライアントで実行する必要があります。 | |
MaxComputeテーブルデータまたは指定されたインスタンスの実行結果をオンプレミスマシンのディレクトリにダウンロードします。 | テーブルデータを読み取るためのSELECT権限を持つユーザー |
データのアップロード
追加モードでMaxComputeテーブルにローカルデータをアップロードします。 MaxComputeにデータをアップロードしても課金されません。
制限事項
ファイルまたはレベル1ディレクトリは、毎回1つのテーブルまたは1つのパーティションにのみアップロードできます。
パーティションテーブルの場合、データのアップロード先のパーティションを指定する必要があります。 テーブルに複数のレベルのパーティションがある場合は、最低レベルのパーティションを指定する必要があります。
構文
Tunnel upload <path> [<project_name>.]<table_name>[/<pt_spc>];
パラメーター
path: 必須です。 オンプレミスマシンからアップロードするデータファイルのディレクトリと名前。 データファイルのデフォルトの形式はTXTです。
MaxComputeクライアントの
bin
ディレクトリにデータファイルを保存できます。 この場合、pathパラメーターをFile name.File name extension
形式の値に設定する必要があります。 また、ドライブDのテストフォルダなど、別のディレクトリにデータファイルを保存することもできます。この場合、pathパラメーターをD:\test\File name.File name extension
形式の値に設定する必要があります。説明macOSでは、pathパラメーターの値は絶対パスのみにすることができます。 たとえば、データファイルがMaxComputeクライアントの
bin
ディレクトリに保存されている場合、pathパラメーターをD:\MaxCompute\bin \File name.File name extension
形式の値に設定する必要があります。project_name: オプションです。 ターゲットテーブルが属するプロジェクトの名前。 このパラメーターは、プロジェクト間でテーブルにアクセスする場合に必要です。
table_name: 必須です。 宛先テーブルの名前。
pt_spc: オプション。 パーティションテーブルで指定されているパーティション。 最低レベルのパーティションを指定する必要があります。 このパラメーターの値は、
partition_col1=col1_value1, partition_col2=col2_value1...
形式です。
例
例1: log.txtファイルのデータを現在のプロジェクトのtest_tableテーブルにアップロードします。 log.txtファイルは、MaxComputeクライアントの
bin
フォルダーに保存されます。 サンプル文:Tunnel upload log.txt test_table;
例2: log.txtファイルのデータを、test_projectプロジェクトのtest_tableテーブルの
p1="b1",p2="b2"
パーティションにアップロードします。 テーブルには2つのレベルのパーティションがあります。 log.txtファイルはドライブDのテストフォルダに保存されます。サンプル文:Tunnel upload D:\test\log.txt test_project.test_table/p1="b1",p2="b2";
データのダウンロード
MaxComputeテーブルデータまたは指定されたインスタンスの実行結果をオンプレミスマシンのディレクトリにダウンロードします。 MaxComputeデータはインターネットからのみダウンロードできます。 ダウンロードされたデータのサイズに基づいて課金されます。 料金は、次の式を使用して計算されます。ダウンロードあたりの料金=ダウンロードされたデータの量 (GB) × ダウンロードの単価 (USD 0.1166/GB)
).
制限事項
毎回1つのテーブルまたは1つのパーティションから1つのローカルファイルにデータをダウンロードできます。
パーティションテーブルの場合、データをダウンロードするパーティションを指定する必要があります。 テーブルに複数のレベルのパーティションがある場合は、最低レベルのパーティションを指定する必要があります。
構文
Tunnel download [<project_name>.]<table_name>[/<pt_spc>] <path>;
パラメーター
project_name: オプションです。 ターゲットテーブルが属するプロジェクトの名前。 このパラメーターは、プロジェクト間でテーブルにアクセスする場合に必要です。
table_name: 必須です。 宛先テーブルの名前。
pt_spc: オプション。 パーティションテーブルで指定されているパーティション。 最低レベルのパーティションを指定する必要があります。 このパラメーターの値は、
partition_col1=col1_value1, partition_col2=col2_value1...
形式です。path: 必須です。 ダウンロードしたデータファイルのディレクトリと名前。 ダウンロードしたデータファイルのデフォルトの形式はTXTです。
MaxComputeクライアントの
bin
ディレクトリにデータファイルを保存できます。 この場合、pathをファイル名. ファイル名拡張子
形式の値に設定する必要があります。 また、ドライブDのテストフォルダなど、別のディレクトリにデータファイルを保存することもできます。この場合、pathをD:\test\File name.File name extension
形式の値に設定する必要があります。
例
例1: 第2レベルのパーティションテーブルtest_project.test_tableからtest_table.txtファイルにデータをダウンロードします。 test_table.txtファイルは、MaxComputeクライアントの
bin
フォルダーに保存されます。 サンプル文:Tunnel download test_project.test_table/p1="b1",p2="b2" test_table.txt;
例2: 第2レベルのパーティションテーブルtest_project.test_tableからtest_table.txtファイルにデータをダウンロードします。 test_table.txtファイルはドライブDのtestフォルダに保存されます。サンプル文:
Tunnel download test_project.test_table/p1="b1",p2="b2" D:\test\test_table.txt;