バッチデータ処理、機械学習パイプライン、インフラストラクチャの自動化、および CI/CD の場合、従来のバッチタスクオーケストレーションとストリームオーケストレーションでは、複雑な要件を満たしたり、自動化をサポートしたりすることはできません。Alibaba Cloud は、クラウドネイティブな Argo Workflows コンポーネントを提供して、バッチタスクのオーケストレーションの複雑さを軽減します。
オープンソース Argo Workflows
Argo Workflows は、Kubernetes で複雑なワークフローを定義、管理、およびスケジュールするために設計された、強力なクラウドネイティブワークフローエンジンです。ワークフローには、依存関係を持つ複数のタスクを含めることができます。この柔軟性により、タスク構成が簡素化されます。
シナリオ
Argo Workflows はさまざまなシナリオをサポートし、自動運転、科学計算、金融計量分析、デジタルメディアなどの業界で広く使用されています。
バッチデータ処理：大規模高精度地図処理、金融計量バックテストシミュレーション、並列オーディオおよびビデオ処理、アニメーションレンダリング。
科学計算：複雑な科学計算シミュレーション、医薬品研究とトレーニング、遺伝子シーケンシング、変異アラインメント検出、エネルギー探査。
シミュレーションとモデリング：自動運転アルゴリズムシミュレーション、分子動力学シミュレーション、天文データシミュレーション、財務モデリング。
機械学習パイプライン：機械学習データの前処理、分散トレーニング、大規模モデルパラメータ調整、モデル評価とデプロイ。
インフラストラクチャの自動化：クラウド リソースの自動管理、リソースのバックアップとリカバリ、ノード プールの移行、クラスターの移行とアップグレード。
CI/CD：並列 CI パイプライン、複数ステージのビルドとテスト、クラウド間のアプリケーションデプロイ、承認ワークフローの統合。
利点
クラウドネイティブ：Kubernetes 専用に設計されており、各タスクはコンテナの軽量で柔軟な性質をフルに活用するポッドです。
軽量でスケーラブル：従来の VM と比較して、Argo Workflows は軽量であり、追加のオーバーヘッドや制限はありません。Kubernetes によって提供される堅牢なスケジューリング機能により、数千のタスクを並行して起動できるため、処理効率が向上します。
柔軟なオーケストレーション機能：有向非巡回グラフ（DAG）とステップの柔軟な組み合わせにより、幅広い複雑さのワークフローのカスタマイズがサポートされます。強力な再試行およびキャッシュメカニズムにより、ワークフロー実行の成功率が向上します。
豊富なエコシステム：Spark、Ray、TensorFlow ジョブなど、さまざまなタイプのタスクのオーケストレーションがサポートされています。イベント駆動型機能と組み合わせることで、完全に自動化されたタスク処理プラットフォームを構築できます。
Argo Workflows の使用
ACS Argo Workflows はオープンソースの Argo Workflows と互換性があり、さらに強化されています。現在のワークフローを ACS Argo Workflows にシームレスに移行できます。ACS Argo Workflows には次の利点があります。
高い弾力性、自動スケーリング、および計算コストの最適化。
ワークフロークラスターは、高いスケジューリングの信頼性とマルチゾーンの負荷分散をサポートします。
ワークフロークラスターは、パフォーマンス、効率、安定性、および可観測性が最適化されたコントロールプレーンを使用します。
ワークフロークラスターは、大規模オブジェクトのアップロード、アーティファクトのガベージコレクション（GC）、データストリーミングなどの強化された OSS 管理機能をサポートします。
コンテナサービスの専門家の助けを借りて、ワークフローを最適化して効率を向上させ、コストを削減できます。
ACK Argo Workflows は、次の方法でさまざまなユーザー要件を満たすことができます。
サーバーレス Argo Workflows：O&M 不要の大規模で高性能なワークフローを作成するには、個別のワークフロークラスターを作成する必要があります。詳細については、「サーバーレス Argo Workflows」をご参照ください。
ACS 上の Argo Workflows コンポーネント：ACS クラスターを使用していて、既存のクラスターリソースを使用する場合は、Argo Workflows コンポーネントを使用してワークフローをオーケストレートできます。このトピックでは、ACS クラスターで Argo Workflows コンポーネントを使用する方法について説明します。
コンポーネントがインストールされると、タスクをバッチオーケストレートできます。Alibaba Cloud Argo CLI または Argo コンソールを使用して、ワークフローを送信および管理できます。
次の図は、さまざまな役割の責任を示しています。
手順 | 説明 |
1. 準備 |
|
2. 環境のセットアップ |
詳細については、「バッチタスクオーケストレーションの有効化」をご参照ください。 |
3. ワークフローの管理 | （データエンジニア）同時タスクがオーケストレートされた後、Argo CLI または Argo コンソールを使用してタスクを送信および管理できます。 |
（クラスター管理者）
|
課金
バッチタスクオーケストレーションは無料です。ACS の計算能力およびその他のクラウドサービスに対して課金される料金に加えて、バッチタスクオーケストレーションを使用する場合、CLB も従量課金制の料金を請求します。詳細については、「CLB の課金」をご参照ください。
お問い合わせ
ご質問やご提案がございましたら、DingTalk グループ 35688562 にご参加ください。