DataWorksは、MaxComputeコンピューティングエンジンなどのコンピューティングエンジンに基づく統合されたエンドツーエンドのビッグデータ開発およびガバナンスプラットフォームとして機能します。 このトピックでは、DataWorksでMaxComputeを使用する方法について説明します。
背景情報
DataWorksでは、コンピューティングエンジンをDataWorksワークスペースに関連付けることができます。 計算エンジンを計算エンジンインスタンスとしてDataWorksワークスペースに関連付けた後、DataWorksコンソールで同じ計算エンジンタイプのノードを作成し、システムがノードを定期的にスケジュールできるようにします。 次のいずれかの方法を使用して、DataWorksをMaxComputeに接続できます。
DataAnalysisのSQLクエリ機能の使用
この機能を使用して、MaxCompute SQL文の編集、データの照会、ワークブックを使用したデータの分析、オンラインでのデータの共有とダウンロードなどの操作を実行できます。 SQLクエリ機能の詳細については、「SQLクエリ」をご参照ください。
DataStudioでのODPSノードの使用
DataWorksは、さまざまな種類の計算エンジンタスクをさまざまな種類のノードにカプセル化して、データ開発タスクを定義します。 リソース、関数、および関連するロジック処理ノードを使用して、より複雑なタスクを開発できます。 ODPSノードには、ODPS SQLノード、ODPS Sparkノード、PyODPS 2ノード、PyODPS 3ノード、ODPS Scriptノード、ODPS MRノードがあります。
シナリオ
DataAnalysisのシナリオの使用
次のシナリオでは、DataAnalysisのSQLクエリ機能を使用できます。
DataAnalysisのSQLクエリ機能を使用してデータをクエリし、Web Excelを分析モードで使用してクエリ結果を分析できます。 データが転送される頻度を減らし、データのセキュリティを確保するために、クエリ結果をオンプレミスのコンピューターにダウンロードして分析することもできます。
ODPSノードのシナリオの使用
MaxComputeジョブを定期的に実行する場合は、DataWorksコンソールでDataStudioを使用して、ジョブに関連する自動トリガーノードを開発し、ノードの時間プロパティやスケジューリングの依存関係などの設定を構成できます。 その後、定期的なスケジューリングのためにノードをDataWorksオペレーションセンターにコミットできます。
指示
DataWorksワークスペースを作成します。
詳細については、「ワークスペースの作成と管理」をご参照ください。
MaxComputeコンピューティングエンジンをDataWorksワークスペースに関連付けます。
詳細については、「MaxComputeコンピューティングエンジンとワークスペースの関連付け」をご参照ください。
説明基本モードのワークスペースを使用する場合、既存のMaxComputeコンピューティングエンジンをワークスペースに関連付けることができます。 ワークスペースを標準モードで使用する場合、既存のMaxComputeコンピューティングエンジンをワークスペースに関連付けることはできません。
(オプション) DataWorksにMaxComputeデータソースを追加します。
DataWorksのデータソースには、コンピューティングエンジンをワークスペースに関連付けると自動的に生成されるデータソースと、[データソース] ページでDataWorksに追加されるデータソースが含まれます。 関連するコンピューティングエンジンに対して自動的に生成されないデータソースに対して操作を実行する場合は、関連するデータソースが作成されていることを確認してください。 詳細については、「データソースの作成と管理」をご参照ください。
DataWorksでMaxComputeを使用します。
DataAnalysis
次のいずれかの方法を使用して、DataAnalysisのSQLクエリページに移動できます。
MaxComputeコンソールの左側のナビゲーションウィンドウで、[データ分析] をクリックします。 DataWorksコンソールの [DataAnalysis] ページで、[SQLクエリ] をクリックします。 [SQLクエリ] ページが表示されます。
DataAnalysisのホームページの [ショートカット] セクションで、[SQLクエリ] をクリックします。 [SQLクエリ] ページが表示されます。
DataAnalysisページの左側のナビゲーションウィンドウで、[SQLクエリ] をクリックして [SQLクエリ] ページに移動します。
SQLクエリの作成やクエリステートメントの実行などの操作の実行方法の詳細については、「SQLクエリ」をご参照ください。
ODPSノード
ODPSノードの作成方法については、「概要」をご参照ください。