ビジネス要件に基づいてスケジューリング専用リソースグループを購入し、そのリソースグループを使用してタスクをスケジュールできます。スケジューリング専用リソースグループを使用する前に、ネットワーク設定や IP アドレスホワイトリストの構成などの操作を実行する必要がある場合があります。このトピックでは、スケジューリング専用リソースグループの購入から使用までのプロセスについて説明します。
前提条件
特定の仕様のスケジューリング専用リソースグループのパフォーマンスと課金について理解していること。スケジューリング専用リソースグループのパフォーマンスは、並列実行できるタスク数に基づいて測定されます。スケジューリング専用リソースグループの課金詳細は、リソースグループの仕様によって異なります。スケジューリング専用リソースグループを購入する前に、ビジネス要件に基づいて仕様とサブスクリプション期間を決定することをお勧めします。詳細については、「スケジューリング専用リソースグループの課金（サブスクリプション）」をご参照ください。
オプション。スケジューリング専用リソースグループとデータソースまたは別のネットワーク環境との間でインタラクションが必要な場合（たとえば、スケジューリングシナリオで Shell ノードを使用して自己管理データベースまたはプライベート IP アドレスにアクセスする必要がある場合）、またはスケジューリング専用リソースグループが E-MapReduce（EMR）または CDH コンピュートエンジンインスタンスを使用するタスクを実行するために必要な場合は、スケジューリング専用リソースグループとさまざまなシナリオのデータソースまたはコンピューティングエンジンインスタンス間のネットワーク接続ソリューションについて理解している必要があります。さらに、データソースの IP アドレスホワイトリストを構成する際に実施する予防措置について理解している必要があります。さまざまなシナリオで使用できるネットワーク接続ソリューションとデータソースの IP アドレスホワイトリストの構成方法については、「スケジューリング専用リソースグループ」をご参照ください。
説明専用リソースグループをデータソースに接続する必要がなく、共有スケジューリングリソースグループのリソース不足が原因でタスクが遅延する問題のみを修正したい場合は、このトピックで説明されているネットワーク構成を無視できます。ネットワーク設定を構成することなく、任意のゾーンでスケジューリング専用リソースグループを購入できます。
スケジューリング専用リソースグループの使用シナリオを十分に理解していること。詳細については、「スケジューリング専用リソースグループのシナリオ」をご参照ください。
手順
スケジューリング専用リソースグループを購入して使用するには、次の手順を実行する必要があります。
ステップ | 説明 | 参照 |
1 | スケジューリング専用リソースグループを作成します。スケジューリング専用リソースグループは、サブスクリプション課金方式に基づいて課金されます。 | |
2 | ビジネス要件に基づいて、スケジューリング専用リソースグループをワークスペースに関連付けます。専用リソースグループが作成された後、リソースグループはいずれのワークスペースにも属していません。したがって、専用リソースグループをワークスペースに関連付ける必要があります。 | |
3 | スケジューリング専用リソースグループを使用して仮想プライベートクラウド（VPC）にデプロイされているデータソースにアクセスする場合は、リソースグループをこの VPC またはデータソースに接続する VPC に関連付けます。 | |
4 | スケジューリング専用リソースグループのデータソースへのアクセスがデータソースの IP アドレスホワイトリストによって制限されている場合は、リソースグループの Elastic IP アドレス（EIP）またはリソースグループが関連付けられている vSwitch の CIDR ブロックを IP アドレスホワイトリストに追加します。 | |
5 | DataWorks コンソールの [データソース] ページで、スケジューリング専用リソースグループとデータソース間のネットワーク接続をテストします。これにより、データソースを使用するタスクを正常に構成できるようになります。 | |
6 | タスクで使用されるリソースグループをスケジューリング専用リソースグループに変更します。スケジューリング専用リソースグループをワークスペースに関連付けた後、ワークスペース内のタスクで使用されるリソースグループは変更されません。スケジューリング専用リソースグループを使用してワークスペース内のタスクをスケジュールする場合は、タスクで使用されるリソースグループを手動でスケジューリング専用リソースグループに変更する必要があります。 | |
7 | スケジューリング専用リソースグループのリソース使用量と、リソースグループでリソースを待機しているインスタンスの数を表示および監視します。 | |
8 | スケジューリング専用リソースグループでコマンド関連の操作（サードパーティ製 Python パッケージのインストールなど）を実行する場合は、O&M アシスタント機能を使用して操作を実行します。 | |
9 | スケジューリング専用リソースグループのゾーンを変更します。この操作はオプションです。 |
注意事項
AliyunBSSOrderAccess ポリシーと AliyunDataWorksFullAccess ポリシーがアタッチされている Alibaba Cloud アカウントまたは RAM ユーザーのみがリソースグループを作成できます。
ワークスペース管理者のみがリソースグループをワークスペースに関連付け、リソースグループが関連付けられているワークスペースを変更できます。
DataWorks コンソールの [リソースグループ] ページで機能を使用したり操作を実行したりするために必要な権限については、「リソースグループの権限を管理するために使用できるポリシー」をご参照ください。
カスタムポリシーを作成し、RAM ユーザーにアタッチする方法については、「（オプション）カスタムポリシーを作成する」をご参照ください。
4 vCPU と 8 GiB のメモリを使用するスケジューリング専用リソースグループは、最大 2 つの VPC に関連付けることができます。他の仕様を使用するスケジューリング専用リソースグループは、最大 3 つの VPC に関連付けることができます。
専用リソースグループは、将来的に廃止される予定です。DataWorks を一度もアクティブ化したことがない場合は、DataWorks をアクティブ化した後にサーバーレスリソースグループのみを購入して使用できます。専用リソースグループを購入して使用することはできなくなります。詳細については、「サーバーレスリソースグループのリリースに関するお知らせ」をご参照ください。
スケジューリング専用リソースグループを作成する
AliyunBSSOrderAccess ポリシーと AliyunDataWorksFullAccess ポリシーがアタッチされている Alibaba Cloud アカウントまたは RAM ユーザーのみがリソースグループを作成できます。
DataWorks コンソール にログインします。
左側のナビゲーションウィンドウで、[リソースグループ] をクリックします。[専用リソースグループ] タブの [リソースグループ] ページで、[旧バージョンのスケジューリング用リソースグループを作成] をクリックして購入ページに移動します。購入ページで、ビジネス要件に基づいてパラメーターを構成します。パラメーターを構成する際には、次の項目に注意してください。
パラメーター
説明
リージョン
スケジューリング専用リソースグループを使用するリージョン。
説明スケジューリング専用リソースグループは、リージョン間で共有できません。たとえば、中国（上海）リージョンのスケジューリング専用リソースグループは、中国（上海）リージョンのワークスペースでのみ使用できます。
[タイプ]
専用リソースグループのタイプ。このパラメーターには、[スケジューリング専用リソース] を選択します。
[スケジューリング専用リソース]
スケジューリング専用リソースグループの仕様。スケジューリング専用リソースグループの使用料金と、スケジューリング専用リソースグループで並列実行できるタスクの最大数は、リソースグループの仕様によって異なります。スケジューリング専用リソースグループの課金については、「スケジューリング専用リソースグループの課金（サブスクリプション）」をご参照ください。
[ユニット]
スケジューリング専用リソースグループ内のマシンの数。本番環境でスケジューリング専用リソースグループの高可用性を確保するには、このパラメーターを 2 以上に設定することをお勧めします。
[期間]
スケジューリング専用の排他的リソースグループは、サブスクリプションの課金方法に基づいて課金されます。 サービスの継続性を確保するために、[自動更新] を選択することをお勧めします。 リソースグループの作成後、[更新管理] ページに移動して、自動更新を有効または無効にすることもできます。 詳細については、「一般的なリファレンス: DataWorks の機能またはリソースの使用を停止する」をご参照ください。
[リソースグループ名]
スケジューリング専用リソースグループの名前。名前はテナント内で一意である必要があります。そうでない場合、購入操作を確認するとエラーが報告されます。
説明テナントとは、Alibaba Cloud アカウントを指します。各テナントは複数の RAM ユーザーを持つことができます。
[今すぐ購入] をクリックし、指示に従って支払いを完了します。
その後、DataWorks はリソースグループの初期化を開始します。リソースグループが [実行中] 状態になると、リソースグループが DataWorks コンソールに作成されます。
説明DataWorks がスケジューリング専用リソースグループを初期化するのに約 20 分かかります。リソースグループのステータスが [実行中] に変わるまで待ちます。
スケジューリング専用リソースグループが DataWorks コンソールに作成されたら、リソースグループをワークスペースに関連付ける必要があります。これにより、ワークスペースでタスクを構成するときにリソースグループを選択できます。
スケジューリング専用リソースグループをワークスペースに関連付ける
ワークスペース管理者のみがリソースグループをワークスペースに関連付け、リソースグループが関連付けられているワークスペースを変更できます。
ワークスペースでリソースグループを選択するには、事前にスケジューリング専用リソースグループをワークスペースに関連付ける必要があります。スケジューリング専用リソースグループは複数のワークスペースで共有できますが、リージョン間で使用することはできません。たとえば、中国（上海）リージョンのスケジューリング専用リソースグループは、中国（上海）リージョンのワークスペースにのみ関連付けることができます。スケジューリング専用リソースグループをワークスペースに関連付けるには、次の手順を実行します。
DataWorks コンソール にログインします。
左側のナビゲーションウィンドウで、[リソースグループ] をクリックします。[専用リソースグループ] タブの [リソースグループ] ページで、データ統合専用リソースグループを見つけ、[操作] 列の [ワークスペースの関連付け] をクリックします。
[ワークスペースの関連付け] パネルで、リソースグループを関連付けるワークスペースを見つけ、[操作] 列の [関連付け] をクリックします。
（オプション）専用リソースグループを VPC に関連付ける
スケジューリング専用リソースグループとデータソースまたは別のネットワーク環境との間でインタラクションが必要な場合（たとえば、スケジューリングシナリオで Shell ノードを使用して自己管理データベースまたはプライベート IP アドレスにアクセスする必要がある場合）、またはスケジューリング専用リソースグループが EMR または CDH コンピュートエンジンインスタンスを使用するタスクを実行するために必要な場合は、リソースグループを VPC に関連付け、データソースの IP アドレスホワイトリストを構成する必要があります。
専用リソースグループは、DataWorks がホストされている VPC にデプロイされます。専用リソースグループを必要な VPC に関連付ける必要があります。これにより、専用リソースグループとデータソースの間にネットワーク接続を確立できます。スケジューリング専用リソースグループを VPC に関連付けるには、次の手順を実行します。
4 vCPU と 8 GiB のメモリを使用するスケジューリング専用リソースグループは、最大 2 つの VPC に関連付けることができます。他の仕様を使用するスケジューリング専用リソースグループは、最大 3 つの VPC に関連付けることができます。
DataWorks コンソール にログインします。
左側のナビゲーションウィンドウで、[リソースグループ] をクリックします。[専用リソースグループ] タブの [リソースグループ] ページで、作成したスケジューリング専用リソースグループを見つけ、[操作] 列の [ネットワーク設定] をクリックします。表示されるページの [VPC バインディング] タブで、[VPC の関連付けを追加] をクリックします。
専用リソースグループを VPC に関連付ける前に、Alibaba Cloud アカウントで RAM コンソールにログインし、DataWorks がクラウドリソースにアクセスすることを承認する必要があります。
専用リソースグループを VPC に関連付けます。
表示されるページの [VPC バインディング] タブで、[VPC の関連付けを追加] をクリックします。[VPC の関連付けを追加] パネルで、パラメーターを構成します。データソースとリソースグループのネットワーク環境に基づいてパラメーターを構成する必要があります。次の表に詳細を示します。
説明Alibaba Cloud データソースや Elastic Compute Service（ECS）インスタンスでホストされている自己管理データソースなどのデータソースにリソースグループを使用してアクセスする場合は、リソースグループとデータソースが同じ Alibaba Cloud アカウントに属しているかどうかによって、ネットワーク接続ソリューションを選択し、ネットワーク設定を構成できます。
パラメーター
説明（同じリージョンおよび Alibaba Cloud アカウント）
説明（異なるリージョンまたは Alibaba Cloud アカウント）
[VPC]
データソースと専用リソースグループが同じ Alibaba Cloud アカウントに属している場合は、データソースが存在する VPC を選択することをお勧めします。
データソースと専用リソースグループが異なる Alibaba Cloud アカウントに属している場合は、データソースと専用リソースグループが異なるリージョンに存在するシナリオの説明に基づいてこのパラメーターを構成します。
データソースと専用リソースグループが異なる Alibaba Cloud アカウントに属しているか、異なるリージョンに存在する場合は、データソースに接続する VPC を選択する必要があります。たとえば、データソースが VPC に存在しない場合は、[VPC の作成] をクリックして専用リソースグループの VPC を作成できます。VPC が作成されたら、VPC ドロップダウンリストから選択できます。データソースに接続する VPC を選択することもできます。
説明データソースと専用リソースグループが異なるリージョンに存在するか、異なる Alibaba Cloud アカウントに属している場合は、VPN Gateway または Express Connect を使用して、専用リソースグループが関連付けられている VPC とデータソースが存在する VPC の間に接続を確立し、専用リソースグループのデータソースの IP アドレスを指すルートを追加する必要があります。詳細については、「ネットワーク接続ソリューション」をご参照ください。
[ゾーン]
データソースが存在するゾーンを選択します。
データソースへのネットワーク接続が確立されているゾーンを選択します。
[vswitch]
[VPC] パラメーターをデータソースが存在する VPC に設定した場合は、データソースが関連付けられている vSwitch を選択することをお勧めします。
説明専用リソースグループをデータソースが存在する VPC とその VPC に存在する vSwitch に関連付けると、VPC の CIDR ブロックを指すルートが自動的に追加されます。これにより、専用リソースグループがこの VPC 内のデータソースにアクセスできるようになります。
データソースが接続されている vSwitch を選択します。使用可能な vSwitch がない場合は、[vswitch の作成] をクリックして専用リソースグループの vSwitch を作成できます。vSwitch が作成されたら、vSwitch を選択します。
<[OK] をクリックします。
説明データソースと専用リソースグループが異なるリージョンに存在するか、異なる Alibaba Cloud アカウントに属している場合は、専用リソースグループを VPC に関連付けた後に、データソースの IP アドレスを指すルートを追加する必要があります。
ホスト構成を追加します。この操作はオプションです。
IP アドレスを使用してデータソースにアクセスできない場合があります。たとえば、ホスト名を使用してのみデータソースにアクセスできます。この場合は、次の手順を実行してホスト構成を追加する必要があります。そうでない場合、ホスト名を使用してデータソースを追加すると、接続テストが失敗します。
[ホスト名と IP のマッピング] タブをクリックします。このタブで、[追加] をクリックします。[ホスト名と IP のマッピングの作成] ダイアログボックスで、パラメーターを構成します。次の表にパラメーターを示します。
パラメーター
説明
[IP アドレス]
データソースの実際の IP アドレス。
[ホスト名]
データソースへのアクセスに使用されるホスト名。複数のホスト名を指定する場合は、各ホスト名を別の行に配置します。
データソースに複数の IP アドレスがある場合は、[追加] をクリックしてホスト構成を追加します。
説明ホスト構成に追加される IP アドレスまたはホスト名は、既存のホスト構成の IP アドレスまたはホスト名とは異なる必要があります。
1 つのホスト構成で 1 つの IP アドレスを複数のホスト名にマッピングできます。ただし、1 つのホスト名は 1 つの IP アドレスのみを指すことができます。
（オプション）データソースの IP アドレスホワイトリストを構成する
スケジューリング専用リソースグループとデータソースが同じゾーン、同じ VPC、同じ vSwitch に存在する場合でも、データソースの IP アドレスホワイトリストの制限により、リソースグループからデータソースへのアクセスが失敗する可能性があります。この場合は、次の手順に従ってデータソースの IP アドレスホワイトリストを構成する必要があります。
内部ネットワーク経由で専用リソースグループとデータソースの間にネットワーク接続を確立する場合は、専用リソースグループが関連付けられている vSwitch の CIDR ブロックをデータソースの IP アドレスホワイトリストに追加する必要があります。
リソースグループが関連付けられている vSwitch の CIDR ブロックを表示するには、次の操作を実行します。DataWorks コンソールにログインし、左側のナビゲーションウィンドウで [リソースグループ] をクリックします。[専用リソースグループ] タブの [リソースグループ] ページで、専用リソースグループを見つけ、[操作] 列の [ネットワーク設定] をクリックします。表示されるページの [VPC バインディング] タブで、[vswitch CIDR ブロック] 列に CIDR ブロックが表示されます。
インターネット経由で専用リソースグループとデータソースの間にネットワーク接続を確立する場合は、専用リソースグループの [EIP] をデータソースの IP アドレスホワイトリストに追加する必要があります。
（オプション）専用リソースグループのネットワーク接続をテストする
上記のネットワーク構成を完了したら、次の操作を実行して、リソースグループとデータソース間のネットワーク接続をテストする必要があります。
[データソース] ページに移動します。
DataWorks コンソール にログインします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションウィンドウで、 を選択します。表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[管理センターに移動] をクリックします。
[SettingCenter] ページの左側のナビゲーションウィンドウで、 を選択します。
[データソース] ページの [データソース] タブで、目的のデータソースを見つけ、変更[操作] 列の をクリックします。
表示されるページの [接続構成] セクションで、スケジューリング専用リソースグループを見つけ、[接続ステータス] 列の [ネットワーク接続のテスト] をクリックします。この列に表示されるステータスが [接続済み] の場合、スケジューリング専用リソースグループのネットワーク接続テストは成功です。
説明構成する必要があるパラメーターは、データソースのタイプによって異なります。DataWorks コンソールでパラメーターを表示できます。
開発環境と本番環境用に個別に追加されたデータソースを使用する場合は、環境内のデータソースとリソースグループ間のネットワーク接続を個別にテストする必要があります。
専用リソースグループとさまざまなネットワーク環境に存在するデータソース間のネットワーク接続ソリューションについては、「ネットワーク接続ソリューション」をご参照ください。
タスクで使用されるリソースグループを専用リソースグループに変更する
操作の環境 | サポートされている変更操作 | エントリポイント |
本番環境 | 本番環境の複数のノードのスケジューリング用リソースグループを同時に変更する |
重要 ゼロロードノード、ワークフローノード、または Platform for AI（PAI）ノードのリソースグループは変更できません。 |
開発環境 |
| [datastudio] ページに移動します。
|
DataStudio ページ | 開発環境の単一タスクのスケジューリング用リソースグループを変更する | [datastudio] ページで、リソースグループを変更するタスクの構成タブに移動し、上部のツールバーの |
アイコンをクリックします。[バッチ操作 - データ開発] タブで、リソースグループを変更するタスクを選択し、タブの下部にある [その他] をクリックして、[スケジューリング用リソースグループの変更] を選択します。
アイコンをクリックして、タスクのテストに使用するスケジューリング用リソースグループを変更します。専用リソースグループのリソース使用量を表示し、リソースグループを監視する
DataWorks コンソールで、スケジューリング専用リソースグループのリソース使用量と、リソースグループでリソースを待機しているインスタンスの数を確認できます。また、オペレーションセンターで提供されるインテリジェントモニタリング機能を使用して、リソースグループのリソース使用量と、リソースグループでリソースを待機しているインスタンスの数を監視することもできます。リソースグループのリソース使用量を表示する方法の詳細については、「専用リソースグループのリソース使用量を表示する」をご参照ください。リソースグループを監視する方法の詳細については、「カスタムアラートルールを作成する」をご参照ください。
（オプション）O&M アシスタント機能を使用して専用リソースグループでコマンド関連の操作を実行する
データ開発中にスケジューリング専用リソースグループでコマンド関連の操作を実行する必要がある場合は、O&M アシスタント機能を使用できます。たとえば、O&M アシスタント機能を使用して、サードパーティ製 Python パッケージをインストールできます。O&M アシスタント機能の詳細については、「O&M アシスタント機能を使用する」をご参照ください。
（オプション）リソースグループのゾーンを変更する
リソースグループのゾーンを変更するには、次の手順を実行します。
DataWorks コンソール にログインします。
左側のナビゲーションウィンドウで、[リソースグループ] をクリックします。[専用リソースグループ] タブの [リソースグループ] ページで、[目的] が [データスケジューリング] の専用リソースグループを見つけます。
アイコンをクリックし、[アクション] 列で [ゾーンの変更] を選択します。[リソースグループのゾーンの変更] ダイアログボックスで、[現在のゾーン]、[マシン]、[新しいゾーン]、[使用するマシンの数] パラメーターを構成します。
[OK] をクリックします。
リソースグループのゾーンを別のゾーンに変更すると、ネットワークの変更が発生する可能性があります。
リソースグループの CIDR ブロック：リソースグループの ECS インスタンスの各ゾーンには、独立した CIDR ブロックがあります。変更後、リソースグループの CIDR ブロックが変更されるかどうかは、リソースグループのゾーンが変更されるかどうかによります。リソースグループのゾーンが変更された場合、リソースグループの CIDR ブロックも変更されます。
リソースグループのプライマリ ENI IP アドレス：リソースグループの ECS インスタンスのゾーンを変更すると、ECS インスタンスのプライマリ ENI IP アドレスも変更され、システムは新しいゾーンの CIDR ブロックに属する IP アドレスを ECS インスタンスに割り当てます。
リソースグループに関連付けられている Elastic IP アドレス（EIP）：リソースグループが関連付けられている vSwitch の CIDR ブロックを目的のデータソースの IP アドレスホワイトリストに追加した場合、変更後に IP アドレスホワイトリストのアドレス情報を更新する必要はありません。リソースグループに関連付けられている EIP を IP アドレスホワイトリストに追加した場合は、変更後に IP アドレスホワイトリストのアドレス情報を更新する必要があります。これにより、リソースグループがデータソースにアクセスするための権限を持ち、データソースで操作を実行できるようになります。