分散Argoワークフロー用のKubernetesクラスター (ワークフロークラスターまたはServerless Argoワークフロー) は、サーバーレスアーキテクチャの上にデプロイされます。 このクラスタータイプは、Alibaba Cloud Container Compute Service (ACS、ホワイトリストで利用可能) またはエラスティックコンテナインスタンスを使用してArgoワークフローを実行します。 オープンソースのワークフローエンジンのパフォーマンスを最適化し、クラスター構成を調整して、大規模なワークフローの効率的で弾力的で費用効果の高いスケジューリングを実現します。 さらに、BestEffortインスタンスまたはプリエンプティブル弾性コンテナインスタンスを利用してコストを最適化します。 このトピックでは、ワークフロークラスターのコンソール、利点、アーキテクチャ、およびネットワーク設計について説明します。
コンソール
Distributed Cloud Container Platform for Kubernetes (ACK One) コンソール
適用シナリオ
Argo Workflowsは、クラウドネイティブの強力なワークフローエンジンであり、cloud native Computing Foundation (CNCF) の段階的なプロジェクトです。 卒業は、プロジェクトがユーザーの採用、セキュリティ、および広範な使用において最高の成熟度レベルを満たすことを意味します。 その主なユースケースには、バッチデータ処理、機械学習パイプライン、インフラストラクチャの自動化、継続的統合 /継続的展開 (CI/CD) が含まれます。 自動運転、科学コンピューティング、金融定量分析、デジタルメディアなどの業界で広く実践されています。
Argoワークフローは、次の主な機能により、バッチタスクオーケストレーションの分野で際立っています。
クラウドネイティブ: Kubernetes専用に設計されており、各タスクはポッドであり、Kubernetesで最も人気のあるワークフローエンジンとなっています。
軽量でスケーラブル: VMオーバーヘッドのない軽量。 柔軟にスケーラブルで、数千のタスクを並行して起動できます。
強力なオーケストレーション機能: 通常ジョブ、Sparkジョブ、Rayジョブ、Tensorジョブなど、さまざまな種類のタスクをオーケストレーションできます。
Serverless Argoワークフローのメリット
オープンソースのArgoワークフローに基づいて開発されたワークフロークラスターは、オープンソースワークフローの標準に準拠しています。 既存のContainer Service for Kubernetes (ACK) クラスターまたはKubernetesクラスターでArgoワークフローが実行されている場合、ワークフローを変更することなく、クラスターをワークフロークラスターにシームレスにアップグレードできます。
ワークフロークラスターを使用すると、ワークフローオーケストレーションを簡単に管理し、各ワークフローステップをコンテナーで実行できます。 これにより、高効率のCI/CDパイプラインが構築され、機械学習やデータ処理ジョブなどのコンピューティング集約型ジョブ用の多数のコンテナーをすばやく起動できます。
ワークフロークラスターは、オープンソースのArgoワークフローに基づいて開発されています。 ワークフローを変更することなく、Argoワークフローを実行するKubernetesクラスターをワークフロークラスターにシームレスにアップグレードできます。
ワークフロークラスターはすぐに使用できる状態にあり、運用オーバーヘッドがゼロで済み、バージョンのアップグレードを気にせずにワークフロー開発に集中できます。
ワークフロークラスターは、非常に柔軟性と自動スケーリング機能を提供します。 リソースは使用後にリリースされ、コンピューティングコストを最小限に抑えます。
ワークフロークラスターは、高いスケジューリング信頼性とマルチゾーン負荷分散をサポートします。
ワークフロークラスターは、パフォーマンス、効率、安定性、および可観測性が最適化された制御プレーンを使用します。
ワークフロークラスターは、大規模なオブジェクトのアップロード、アーティファクトのガベージコレクション (GC) 、データストリーミングなど、拡張されたOSS管理機能をサポートします。
コミュニティの技術サポートを利用して、チームがワークフローを最適化し、パフォーマンスを効果的に向上させ、コストを削減できます。
アーキテクチャ
オープンソースのArgoワークフローは、Kubernetesクラスターのサーバーレスワークロードのワークフローエンジンとしてワークフロークラスターによって使用されます。
ネットワーク設計
ワークフロークラスターは、次のリージョンで使用できます。
中国 (北京)
中国 (杭州)
中国 (上海)
中国 (深セン)
中国 (張家口)
中国 (河源)
中国 (広州)
中国 (香港)
シンガポール
マレーシア (クアラルンプール)
インドネシア (ジャカルタ)
日本 (東京)
ドイツ (フランクフルト)
イギリス (ロンドン)
米国 (シリコンバレー)
タイ (バンコク)
他のリージョンでワークフロークラスターを使用するには、DingTalkグループ35688562に参加して、テクニカルサポートを行います。
仮想プライベートクラウド (VPC) を作成するか、既存のVPCを選択します。
vSwitchを作成するか、既存のvSwitchを選択します。
使用するvSwitchのCIDRブロックが、Argoワークフローに十分なIPアドレスを提供できることを確認します。 Argoワークフローでは、使用するvSwitchにIPアドレスを要求する多数のポッドが作成される場合があります。
選択したリージョンの各ゾーンにvSwitchを作成します。 ワークフローエンジンを作成するときは、ワークフローエンジンの入力パラメーターに複数のvSwitch IDを指定します。 ワークフローエンジンを作成すると、大量のワークフローを実行するのに十分なストックを持つゾーンにACSポッドまたはエラスティックコンテナインスタンスが自動的に作成されます。 選択したリージョン内のすべてのゾーンでACSポッドまたはエラスティックコンテナインスタンスが在庫切れの場合、エラスティックコンテナインスタンスを作成できないため、ワークフローを実行できません。