DataWorks では、ワークフロー内のさまざまなタイプのノードを業務カテゴリごとに整理して、業務コードを開発できます。
DataWorks には、ワークフローごとにさまざまなタイプのノードのダッシュボードが用意されています。 また、ワークフローのノードを最適化および管理するためのツールも用意されています。 簡単でインテリジェントな開発と管理を実現します。
ワークフローの構造
ワークスペースは、複数のタイプのコンピューティングエンジンと複数のワークフローをサポートします。 ワークフローは、互いに密接に関連付けられているさまざまなタイプのノードのコレクションです。 DataWorks は、ワークフローを表示できるように、有向非巡回グラフ (DAG) を自動的に生成します。 サポートされるノードタイプには、データ統合ノード、データ分析ノード、テーブル、リソース、関数、およびアルゴリズムが含まれます。
各タイプのノードには、独立したフォルダーがあります。 各フォルダーにサブフォルダーを作成することもできます。 管理を容易にするために、作成するサブフォルダは最大 4 階層までにすることを推奨します。 4 階層を超えるサブフォルダーレベルが必要な場合、ワークフローは複雑すぎるため、 2 つ以上のワークフローに分割し、分割したワークフローを 1 つのソリューションに追加することを推奨します。
ワークフローの作成
- DataWorks コンソールにログインします。 左側のナビゲーションペインで [ワークスペース] をクリックします。 [ワークスペース] ページでワークフローを作成するワークスペースを確認し、[操作] 列の [データ分析] をクリックします。
アイコンにポインターを合わせ、[ワークフロー] をクリックします。
- 表示される [ワークフローを作成] ダイアログボックスで、[ワークフロー名]と[説明]パラメーターを設定します。
- [作成] をクリックします。
ワークフローノード
- データ統合
ワークフローの下の [データ統合] をダブルクリックして、ワークフローで作成されたすべてのデータ統合ノードを表示します。 詳細については、「Batch Sync node」および「Real-Time Sync node」をご参照ください。
- MaxCompute
MaxCompute コンピューティングエンジンを使用すると、ODPS SQL、SQL スクリプトテンプレート、ODPS Spark、PyODPS、ODPS Script、および ODPS MR ノードなどのデータ分析ノードを作成および表示できます。 MaxCompute のテーブル、リソース、および関数を作成および表示することもできます。
- データ分析
ワークフローの下の [MaxCompute] を右クリックし、[作成] をクリックして特定のタイプのデータ分析ノードを作成します。 詳細については、「ODPS SQL ノード」、「SQL スクリプトテンプレート」、「t1693700.html#concept_xpk_tvm_jhb」、「PyODPS ノード」、「ODPS Script ノード」、および「t1781839.html#concept_nxk_gz3_p2b」をご参照ください。
- テーブル
ワークフローの下の [MaxCompute] を右クリックし、 をクリックしてテーブルを作成します。 また、現在の MaxCompute コンピューティングエンジンで作成されたすべてのテーブルを表示することもできます。 詳細については、「テーブル」をご参照ください。
- リソース
ワークフローの下の [MaxCompute] を右クリックし、 をクリックし、特定のリソースタイプをクリックしてリソースを作成します。 現在の MaxCompute コンピューティングエンジンで作成されたすべてのリソースを表示することもできます。 詳細については、「リソース」をご参照ください。
- 関数
ワークフローの下の [MaxCompute] を右クリックし、 をクリックして関数を作成します。 現在の MaxCompute コンピューティングエンジンで作成されたすべての関数を表示することもできます。 詳細については、「関数」をご参照ください。
- データ分析
- E-MapReduce
E-MapReduce コンピューティングエンジンを使用すると、EMR Hive、EMR MR、EMR Spark SQL、および EMR Spark ノードなどのデータ分析ノードを作成できます。 E-MapReduce リソースを表示および作成することもできます。
注 EMR モジュールは、現在のワークスペースに E-MapReduce コンピューティングエンジンをバインドした後にのみ DataStudio ページで使用できます。 詳細については、「ワークスペースの設定」をご参照ください。- データ分析
ワークフローの下の [EMR] をクリックします。 [データ分析] を右クリックし、[作成] をクリックして、特定のタイプのデータ分析ノードを作成します。 詳細については、「t1693705.html#concept_2134377」、「t1693706.html#concept_2134378」、「t1693707.html#concept_2134379」および「t1693708.html#concept_2134380」をご参照ください。
- リソース
ワークフローの下の [EMR] をクリックします。 [リソース] を右クリックし、[作成] をクリックして、特定のタイプのリソースを作成します。 現在の E-MapReduce コンピューティングエンジンで作成されたすべてのリソースを表示することもできます。 詳細については、「リソース」をご参照ください。
- データ分析
- アルゴリズム
ワークフローの下の [アルゴリズム] を右クリックし、[作成]、 [PAI 実験] の順にクリックして、機械学習実験ノードを作成します。 現在のワークフローで作成されたすべての機械学習実験ノードを表示することもできます。 詳細については、「Machine Learning 実験ノード」をご参照ください。
- 共通型
ワークフローの下の [全般] をクリックし、[作成] をクリックして特定のタイプのノードを作成します。 詳細については、「OSS オブジェクト検査ノード」、「for-each ノード」、「do-while ノード」、「MERGE ノード」、「分岐ノード (Branch node)」、「Assignment ノード」、「シェルノード」、「ゼロ荷重ノード」、および「テナント間コラボレーションノード」をご参照ください。
注 DataWorks Basic Edition を使用している場合、作成できるのは Cross-Tenant Collaboration ノードと OSS Object Inspection ノードのみです。 他のタイプのノードを作成するには、DataWorks を上位エディションにアップグレードする必要があります。 [いますぐアップグレード] をクリックして、現在の DataWorks のエディションをアップグレードできます。 - UserDefined
ワークフローの下の [UserDefined] をクリックし、[作成] をクリックして特定のタイプのノードを作成します。 詳細については、「Hologres ノード」、「Data Lake Analytics ノード」、「AnalyticDB for MySQL ノード」および「AnalyticDB for PostgreSQL ノード」をご参照ください。
すべてのワークフローを表示
データ分析ページで [業務フロー] をクリックし、[すべてのワークフロー] をクリックして、現在のワークスペースで作成されたすべてのワークフローを表示します。
ワークフローをクリックします。 ワークフローのダッシュボードが表示されます。
各ノードタイプのダッシュボード
DataWorks は、ワークフロー内の各タイプのノードのダッシュボードを提供します。 ダッシュボードでは、各ノードは操作と最適化の提案を提供するカードで表示されるため、ノードをインテリジェントに管理できます。
たとえば、各データ分析ノードのカードには、ノードに対してベースラインベースの監視とイベント通知が有効になっているかどうかを示す 2 つのインジケーターがあります。 これにより、各ノードのステータスを理解できます。
ワークフロー内のフォルダーをダブルクリックします。 選択したノードタイプのダッシュボードが表示されます。
ワークフローのコミット
- ワークフローのダッシュボードに移動し、ツールバーの
アイコンをクリックします。
- 表示される [コミット] ダイアログボックスでコミットするノードを選択し、[説明]を設定し、[I/O 不整合アラートを無視]をクリックします。
- [コミット] をクリックします。