データ管理 (DMS) のタスクオーケストレーション機能は、指定した時間指定スケジューリングポリシーまたはイベントスケジューリングポリシーに基づいて、タスクノードをオーケストレーションし、タスクを実行するために使用されます。 1つ以上のタスクノードを含むタスクフローを作成して、複雑なスケジューリングを実装し、データ開発の効率を向上させることができます。
背景情報
インターネットとIoTの急速な発展は、データ量の急増、データソースの多様化、データ分析の需要の増加、およびビジネスプロセスの複雑さの増加を引き起こします。 したがって、手動でデータを処理する従来の方法は、現在のビジネス要件を満たすことができません。 データ処理、分析、バックアップ、およびその他のデータ関連要件に適したワークフローを構築するには、自動化されたソリューションが必要です。
DMSは、自動データ処理を容易にするタスクオーケストレーション機能を提供します。 この機能は、データ開発効率の向上、エラー率の低減、データ価値と信頼性の向上に役立ちます。
サポートされるソースデータベースタイプ
リレーショナルデータベース
MySQL: ApsaraDB RDS for MySQL、PolarDB for MySQL、ApsaraDB MyBase for MySQL、PolarDB for Xscale、およびその他のソースのMySQLデータベース
SQL Server: ApsaraDB RDS for SQL Server、ApsaraDB MyBase for SQL Server、および他のソースのSQL Serverデータベース
PostgreSQL: ApsaraDB RDS for PostgreSQL、PolarDB for PostgreSQL、ApsaraDB MyBase for PostgreSQL、および他のソースのPostgreSQLデータベース
OceanBase: MySQLモードのApsaraDB for OceanBase、OracleモードのApsaraDB for OceanBase、および自己管理型OceanBaseデータベース
PolarDB for PostgreSQL (Oracleと互換)
オラクル
ダメン (DM)
Db2
NoSQLデータベース: Lindorm
データウェアハウス:
AnalyticDB for MySQL
AnalyticDB for PostgreSQL
データレイク分析 (DLA)
MaxCompute
ホログラム
オブジェクトストレージ: Object storage Service (OSS)
タスクノードタイプ
カテゴリ | タスクノードタイプ | 説明 | 関連ドキュメント |
情報処理 | シングルインスタンスSQL | 特定のリレーショナルデータベースでSQL文を実行します。 説明 指定されたデータベースインスタンスに対してロックフリースキーマ変更機能を有効にした場合、DMSはシングルインスタンスSQLタスクを実行するときにこの機能を優先的に適用します。 これにより、テーブルがロックされなくなります。 詳細については、「ロックフリースキーマ変更機能の有効化」をご参照ください。 | 非該当 |
一般操作 | 単一インスタンスのSQL割り当て | SELECT文を使用して取得したデータを、現在のノードの出力変数に割り当てます。 出力変数は、下流ノードの入力変数として使用することができる。 | |
条件付きブランチ | タスクフローで条件付き判断を行います。 タスクフローの実行中に, 条件分岐ノードの条件式がtrueになった場合, 以降のタスクが実行されます。 それ以外の場合、後続のタスクは実行されません。 | ||
ECSリモートコマンド | Cloud Assistantを使用して、リモートのECS (Elastic Compute Service) インスタンスでシェル、PowerShell、またはバッチスクリプトを実行します。 | ||
ステータスチェック | 指定時間後にデータがテーブルに存在するかどうかを確認する | 特定の時点以降に増分データがテーブルに存在するかどうかを確認します。 | 非該当 |
監査タスク | テーブルのデータ品質をチェックします。 テーブルの品質ルールと監査タスクのスケジューリングサイクルを指定すると、DMSはテーブルのデータ品質をチェックし、レポートを生成します。 | 非該当 | |
タスクフローの依存関係の確認 | タスクフローとタスクフロー間の依存関係の自己依存関係を設定します。 別のタスクフローまたはタスクノードに依存するようにタスクフローを設定できます。 |