MaxCompute は、さまざまなデータアップロードおよびダウンロードツールを提供しています。これらのツールのほとんどのソースコードは、オープンソースコミュニティ GitHub 上で見つけることができ、そこでツールはメンテナンスされています。データ移行シナリオに基づいて、データのアップロードとダウンロードを行うツールを選択できます。
Alibaba Cloud サービス
MaxCompute クライアント (Tunnel)
MaxCompute クライアントは、Tunnel SDK に基づいて、データのアップロードとダウンロードのための組み込み Tunnel コマンドを提供します。 Tunnel コマンドの詳細については、「Tunnel コマンド」をご参照ください。
MaxCompute クライアントのインストール方法と使用方法の詳細については、「MaxCompute クライアント」をご参照ください。
説明これはオープンソースプログラムです。aliyun-odps-console にアクセスして、ソースコードを表示できます。
DataWorks の Data Integration (Tunnel)
DataWorks の Data Integration は、安定性、効率性、拡張性に優れたデータ同期プラットフォームです。 Data Integration を使用すると、Alibaba Cloud 上の異種データストレージシステム間で、完全なオフラインおよび増分リアルタイムデータ同期、統合、および交換を行うことができます。
データ同期タスクは、MaxCompute、ApsaraDB RDS (MySQL、SQL Server、PostgreSQL)、Oracle、FTP、AnalyticDB、Object Storage Service (OSS)、ApsaraDB for Memcache、PolarDB-X などのデータソースをサポートしています。詳細については、「Data Integration」をご参照ください。
DTS (トンネル)
DTS とはは、Alibaba Cloud が提供するデータサービスであり、RDBMS（リレーショナルデータベース）、NoSQL、OLAP などのさまざまなデータソース間のデータインタラクションをサポートします。データ移行、リアルタイムデータサブスクリプション、リアルタイムデータ同期など、複数のデータ転送機能を提供します。
DTS は、ApsaraDB RDS および MySQL インスタンスのデータを MaxCompute テーブルにリアルタイムで同期できます。その他のデータソースタイプはサポートされていません。
オープンソースソフトウェア
Sqoop (トンネル)
コミュニティ Sqoop 1.4.6 バージョンに基づいて開発された Sqoop は、MaxCompute のサポートを強化しています。Sqoop を使用して、MySQL などのリレーショナルデータベースのデータや HDFS または Hive のデータを MaxCompute テーブルにインポートしたり、MaxCompute テーブルのデータを MySQL などのリレーショナルデータベースにエクスポートしたりできます。
説明これはオープンソースプログラムです。aliyun-maxcompute-data-collectors にアクセスして、ソースコードを表示できます。
Kettle (トンネル)
Kettle は、Java で開発されたオープンソースの抽出、変換、ロード (ETL) ツールです。 Kettle は Windows、UNIX、または Linux 上で動作し、ドラッグアンドドロップコンポーネントを使用してデータ転送トポロジを定義できるグラフィカルインターフェイスを提供します。
説明これはオープンソースプログラムです。aliyun-maxcompute-data-collectors にアクセスして、ソースコードを表示できます。
Apache Flume (DataHub)
Apache Flume は、データソースから大量のログデータを収集し、集約して一元化されたデータストレージに格納する、分散型の信頼性の高いシステムです。 Apache Flume は、さまざまな Source プラグインと Sink プラグインをサポートしています。
Apache Flume の DataHub シンクプラグインを使用すると、ログデータをリアルタイムで DataHub にアップロードし、MaxCompute テーブルにアーカイブできます。
説明これはオープンソースプログラムです。aliyun-maxcompute-data-collectors にアクセスして、ソースコードを表示できます。
Fluentd (DataHub)
Fluentd は、アプリケーションログ、システムログ、アクセスログなど、さまざまなデータソースからログを収集できるオープンソースソフトウェアです。 Fluentd では、プラグインを使用してログデータをフィルタリングし、MySQL、Oracle、MongoDB、Hadoop、Treasure Data などのデータプロセッサにデータを格納できます。
Fluentd の DataHub プラグインを使用すると、ログデータをリアルタイムで DataHub にアップロードし、MaxCompute テーブルにアーカイブできます。
Logstash (DataHub)
Logstash は、オープンソースのログ収集および処理フレームワークです。 logstash-output-datahub プラグインを使用すると、DataHub にデータをインポートできます。 Logstash を使用すると、単純な操作に基づいてデータを収集および転送できます。 Logstash を MaxCompute または StreamCompute と併用して、データ収集から分析までのすべての機能を提供するオールインワンのストリーミングデータソリューションを作成できます。
Logstash の DataHub プラグインを使用すると、ログデータをリアルタイムで DataHub にアップロードし、MaxCompute テーブルにアーカイブできます。
OGG (DataHub)
OGG の DataHub プラグインを使用すると、Oracle データベースの増分データをリアルタイムで DataHub に同期し、MaxCompute テーブルにアーカイブできます。
説明これはオープンソースプログラムです。aliyun-maxcompute-data-collectors にアクセスして、ソースコードを表示できます。