DataWorks:同一サイクルスケジューリング依存関係を設定する

先祖ノード

現在のノードが依存するノードを指定できます。ノードが指定されると、現在のノードは先祖ノードが正常に実行された後にのみ実行を開始できます。先祖ノードの出力を現在のノードの入力として入力する必要があります。現在のノードが依存するノードを指定する際には、次の項目に注意してください。

• すべてのノードに先祖ノードを設定する必要があります。テーブルリネージに基づいてノードの先祖ノードを設定することをお勧めします。テーブルリネージが存在しない場合は、ビジネス要件に基づいて、ワークスペースのルートノードまたはゼロロードノードを現在のノードの先祖ノードとして選択できます。詳細については、「スケジューリング依存関係設定ガイド」をご参照ください。

• 先祖ノードがコミットされていることを確認してください。現在のノードをコミットするときに、先祖ノードの出力が存在しないことを示すエラーが報告された場合は、先祖ノードがコミットされているかどうかを確認してください。

次の図は、現在のノードの先祖ノードを指定するために使用できるすべてのメソッドを示しています。自動推奨メソッドを使用して現在のノードが依存するノードを指定する場合、推奨されるノードがコミットされて本番環境にデプロイされ、目的のテーブルが生成されることを確認してください。推奨されるノードは、前日にスケジューリングシステムにコミットする必要があります。これにより、当日にデータが生成された後、自動推奨機能によってノードを識別できます。したがって、自動的に推奨されるノードは 1 日遅れで更新されます。

現在のノードの出力

現在のノードと他のノードとの間にスケジューリング依存関係を確立するために、ノードの出力を設定できます。他のノードは、現在のノードの出力名を検索して現在のノードを見つけ、スケジューリング依存関係の設定に基づいて現在のノードがノードの先祖ノードとして指定されます。現在のノードが子孫ノードの先祖ノードとして設定されている場合、子孫ノードがコミットされた後、現在のノードの出力名には子孫ノードの名前が含まれます。DataWorks では、現在のノードの [現在のノードの出力名] セクションで子孫ノードを手動で変更することはできません。次の図は、現在のノードの出力を指定するすべてのメソッドを示しています。

ワークフローの設定タブで線を描画してノードを接続し、ノード間のスケジューリング依存関係を確立する

ワークフローの設定タブで線を描画してノードを接続することでノード間のスケジューリング依存関係を設定する場合、DataWorks は、名前が _out で終わる先祖ノードの出力を子孫ノードの入力として自動的に追加します。

[依存関係] セクションでノードの先祖ノードを手動で追加する

[親ノード] セクションで、ノードの出力を入力して、そのノードを現在のノードの先祖ノードとして追加できます。出力名は projectname.tablename 形式です。

自動解析機能を使用して、テーブルリネージに基づいてノード間のスケジューリング依存関係を設定する

DataWorks では、ノードコード内のテーブルリネージを使用して、ノード間のスケジューリング依存関係を迅速に設定できます。自動解析機能を有効にすると、システムはノードによって生成されたテーブルを projectname.tablename 形式で命名し、そのテーブルをノードの出力として使用します。システムはまた、ノードがクエリするテーブルをノードの入力として追加します。たとえば、ノードのコードの SELECT 文でテーブルが指定されている場合、システムは自動解析機能に基づいてそのテーブルをノードの親ノードに追加します。ノードのコードの INSERT 文でテーブルが指定されている場合、システムは自動解析機能に基づいてそのテーブルをノードの出力に追加します。自動解析機能がさまざまなタイプのノードでサポートするキーワードの詳細については、「自動解析機能のサポート」をご参照ください。

自動解析機能に基づくノード間のスケジューリング依存関係の設定の詳細:

• 自動解析機能に基づくノード間のスケジューリング依存関係の設定

  次の図は、自動解析機能に基づいてノード間のスケジューリング依存関係がどのように設定されるかを示しています。

• 自動解析機能に基づいて取得されたスケジューリング依存関係の変更

  自動解析機能に基づいてノード間に設定されたスケジューリング依存関係が期待どおりでない場合、またはスケジューリング依存関係の設定がサポートされていない (データが定期的なスケジューリングに基づいて生成されないテーブル) 場合は、次の表を参照して、自動解析機能に基づいて取得されたスケジューリング依存関係を変更できます。

  シナリオとメソッド	説明	操作と結果の例
  自動解析機能が有効な場合に、コードを使用してノードの入力と出力を削除します。	ノードのコードでコマンドを実行してノードの入力と出力を削除または追加し、ノードの入力と出力を再度解析します。 ノードの入力と出力が削除または追加されると、自動解析結果にコメントが自動的に追加されます。 --@exclude_input=ノードの入力を削除 --@exclude_output=ノードの出力を削除 --@extra_output=ノードの出力を追加 --@extra_input=ノードの入力を追加
  自動解析機能が無効な場合に、自動解析機能に基づいて取得されたノードの入力と出力を変更します。	DataWorks では、子孫ノードを持つノードの出力を削除することはできません。ノードの出力を削除すると、子孫ノードの実行時にエラーが発生したり、子孫ノードがデータを取得できなくなったりします。 この場合、下流のビジネスロジックを調整することをお勧めします。ノードの出力を削除する前に、子孫ノードの現在の先祖ノードへの依存関係を削除できます。

• 自動解析機能をサポートしていないノード

  DataWorks の一時テーブルは、[テーブル管理] タブで定義され、t_ などのプレフィックスが付いたテーブルのように固定形式であり、自動解析機能に基づいて現在のノードの出力または入力として使用されません。

• 自動解析機能を使用する際の注意事項

  自動解析機能を使用してスケジューリング依存関係を設定する場合、ノードの出力名が現在のリージョンで一意であることを確認する必要があります。DataWorks でのノード開発で自動解析機能を使用する場合は、次の項目に注意してください。

  • ノードの作成: DataWorks では、ノードに対して生成される出力の名前はノードの名前と同じです。ワークスペースに同じ名前のノードが含まれている場合は、いずれかのノードの出力名を手動で変更する必要があります。

  • コード開発: 自動解析機能は、ノードによって生成されたテーブルをノードの出力として使用します。ワークスペースで、2 つのノードが同じテーブルにデータを書き込むために使用される場合、自動解析シナリオでいずれかのノードでエラーが報告されることがあります。詳細については、「複数のノードが同じ出力名を持つことはできますか？」をご参照ください。

  • 依存関係の設定: SQL ノードを使用してバッチ同期ノードによって生成されたテーブルを処理するシナリオでは、自動解析機能を使用して、リネージに基づいてバッチ同期ノードのスケジューリング依存関係を設定できます。バッチ同期ノードの出力テーブルをノードの出力として手動で設定するか、バッチ同期ノードの出力テーブルの名前をバッチ同期ノードの名前として使用する必要があります。そうしないと、バッチ同期ノードに依存する SQL ノードをコミットするときに、次のエラーが報告されることがあります: 先祖ノードの ${projectname.tablename} 形式の名前の出力が存在しません。現在のノードはコミットできません。出力名が ${projectname.tablename} 形式の先祖ノードがコミットされていることを確認してください。DataWorks では、ノードに対して生成される出力の名前はノードの名前と同じです。