DataWorks は、Data Integration 専用リソースグループを提供します。同期タスク用に Data Integration 専用リソースグループを構成して、タスクに専用の計算リソースを割り当てることができます。これは、同期タスクの実行効率と安定性の向上に役立ちます。購入した Data Integration 専用リソースグループを使用する前に、ネットワーク設定や IP アドレスホワイトリストの構成などの操作を実行する必要があります。このトピックでは、Data Integration 専用リソースグループの購入から使用までのプロセスについて説明します。
2024 年 6 月 10 日より前に DataWorks をアクティブ化したことがない場合、DataWorks をアクティブ化した後にサーバーレスリソースグループのみを購入して使用できます。旧バージョンのリソースグループを購入または使用することはできません。
前提条件
特定の仕様の Data Integration 専用リソースグループのパフォーマンスと課金について理解している必要があります。Data Integration 専用リソースグループのパフォーマンスは、並列実行できるタスク数に基づいて測定されます。Data Integration 専用リソースグループを購入する前に、ビジネス要件に基づいて仕様とサブスクリプション期間を決定することをお勧めします。詳細については、「Data Integration 専用リソースグループの課金(サブスクリプション)」をご参照ください。
注意事項
Data Integration 専用リソースグループは、複雑なネットワーク環境でのデータ同期をサポートしています。たとえば、Data Integration 専用リソースグループを使用して、クラウド環境間(Finance Cloud と Alibaba Gov Cloud)、Alibaba Cloud アカウント間、またはデータセンターとの間でデータを同期できます。同期タスクを実行する前に、リソースグループとデータソース間のネットワーク接続が確立されていること、およびデータソースの IP アドレスホワイトリストがアクセスできるように構成されていることを確認する必要があります。ネットワーク接続が確立されていない場合、同期タスクを実行できません。Data Integration 専用リソースグループとデータソース間のネットワーク接続のソリューション、およびデータソースの IP アドレスホワイトリストを構成する際の注意事項については、「Data Integration 専用リソースグループ」をご参照ください。
リソースグループをデータソースに接続する必要がなく、Data Integration 共有リソースグループのリソース不足によって発生するタスクのレイテンシの問題のみを解決したい場合は、このトピックで説明されているネットワーク設定に注意を払う必要はありません。ランダムなゾーンにある Data Integration 専用リソースグループを購入でき、リソースグループのネットワーク設定を構成する必要はありません。
手順
Data Integration 専用リソースグループを購入して使用するには、次の手順を実行する必要があります。
手順 | 説明 | 参照 |
1 | Data Integration 専用リソースグループを作成します。Data Integration 専用リソースグループは、サブスクリプション課金方式に基づいて課金されます。 | |
2 | ビジネス要件に基づいて、Data Integration 専用リソースグループをワークスペースに関連付けます。専用リソースグループが作成された後、リソースグループはいずれのワークスペースにも属していません。そのため、専用リソースグループをワークスペースに関連付ける必要があります。 | |
3 | Data Integration 専用リソースグループを使用して VPC 内にあるデータソースにアクセスする場合は、リソースグループをこの VPC またはデータソースに接続する VPC に関連付けます。 | |
4 | Data Integration 専用リソースグループのデータソースへのアクセスがデータソースの IP アドレスホワイトリストによって制限されている場合は、リソースグループの EIP またはリソースグループが関連付けられている vSwitch の CIDR ブロックを IP アドレスホワイトリストに追加します。 | |
5 | DataWorks コンソールのデータソースページで、Data Integration 専用リソースグループとデータソース間のネットワーク接続をテストします。これにより、データソースを使用する同期タスクを正常に構成できるようになります。 | |
6 | Data Integration 専用リソースグループを使用して同期タスクを実行します。Data Integration 専用リソースグループを使用して、リソースグループが関連付けられているワークスペースで同期タスクを実行する場合は、ワークスペースでタスクを構成するときにリソースグループを手動で選択します。 | |
7 | Data Integration 専用リソースグループのリソース使用量と、リソースグループでリソースを待機しているインスタンスの数を表示および監視します。 | |
8 | Data Integration 専用リソースグループのゾーンを変更します。この操作はオプションです。 |
制限事項
AliyunBSSOrderAccess ポリシーと AliyunDataWorksFullAccess ポリシーがアタッチされている Alibaba Cloud アカウントまたは RAM ユーザーのみが、リソースグループを作成できます。
ワークスペース管理者のみが、リソースグループをワークスペースに関連付けたり、リソースグループが関連付けられているワークスペースを変更したりできます。
DataWorks コンソールの [リソースグループ] ページで機能を使用したり操作を実行したりするために必要な権限については、「DataWorks コンソールのエンティティに対する権限を管理するために使用されるカスタムポリシー」をご参照ください。
カスタムポリシーを作成し、RAM ユーザーにアタッチする方法については、「(オプション)カスタムポリシーを作成する」をご参照ください。
4 vCPU と 8 GiB のメモリを使用する Data Integration 専用リソースグループは、最大 2 つの VPC に関連付けることができます。その他の仕様を使用する Data Integration 専用リソースグループは、最大 3 つの VPC に関連付けることができます。
Data Integration 専用リソースグループを作成する
AliyunBSSOrderAccess ポリシーと AliyunDataWorksFullAccess ポリシーがアタッチされている Alibaba Cloud アカウントまたは RAM ユーザーのみが、リソースグループを作成できます。
DataWorks コンソール にログインします。
左側のナビゲーションウィンドウで、[リソースグループ] をクリックします。[専用リソースグループ] タブの [リソースグループ] ページで、[旧バージョンの Data Integration リソースグループを作成] をクリックします。購入ページで、パラメータを構成します。次の表にパラメータを示します。
パラメータ
説明
リージョン
専用リソースグループを作成して使用したいリージョン。
説明Data Integration 専用リソースグループは、リージョン間で共有できません。たとえば、中国 (上海) リージョンの専用リソースグループは、中国 (上海) リージョンのワークスペースでのみ使用できます。
タイプ
専用リソースグループのタイプ。このパラメータには [data Integration 専用リソースグループ] を選択します。
リソースグループ名
Data Integration 専用リソースグループの名前。名前はテナント内で一意である必要があります。そうでない場合、購入操作を確認するとエラーが報告されます。
説明テナントとは Alibaba Cloud アカウントのことです。各テナントは複数の RAM ユーザーを持つことができます。
リソースグループの説明
Data Integration 専用リソースグループの説明。
期間
Data Integration 専用リソースグループは、サブスクリプションの課金方法に基づいて課金されます。サービスの継続性を確保するために、[自動更新] を選択することをお勧めします。また、リソースグループの作成後に、[更新管理] ページに移動して自動更新を有効または無効にすることもできます。詳細については、「一般的なリファレンス: DataWorks コモディティの使用停止」をご参照ください。
ビジネス要件に基づいて他のパラメータを構成できます。
[今すぐ購入] をクリックし、プロンプトに従って注文の支払いを行います。
その後、DataWorks はリソースグループの初期化を開始します。リソースグループが [実行中] 状態になると、リソースグループが DataWorks コンソールに作成されます。
説明DataWorks が Data Integration 専用リソースグループを初期化するのに約 20 分かかります。リソースグループのステータスが [実行中] に変わるまで待ちます。
Data Integration 専用リソースグループが DataWorks コンソールに作成されたら、リソースグループをワークスペースに関連付ける必要があります。これにより、ワークスペースでタスクを構成するときにリソースグループを選択できます。
Data Integration 専用リソースグループをワークスペースに関連付ける
ワークスペース管理者のみが、リソースグループをワークスペースに関連付けたり、リソースグループが関連付けられているワークスペースを変更したりできます。
ワークスペースで専用リソースグループを使用するには、事前に Data Integration 専用リソースグループをワークスペースに関連付ける必要があります。Data Integration 専用リソースグループは複数のワークスペースで共有できますが、リージョン間では使用できません。たとえば、中国 (上海) リージョンの Data Integration 専用リソースグループは、中国 (上海) リージョンのワークスペースにのみ関連付けることができます。作成した Data Integration 専用リソースグループをワークスペースに関連付けるには、次の手順を実行します。
DataWorks コンソール にログインします。
左側のナビゲーションウィンドウで、[リソースグループ] をクリックします。[専用リソースグループ] タブの [リソースグループ] ページで、Data Integration 専用リソースグループを見つけ、[アクション] 列の [ワークスペースの関連付け] をクリックします。
[ワークスペースの関連付け] パネルで、リソースグループを関連付けるワークスペースを見つけ、[アクション] 列の [関連付け] をクリックします。
Data Integration 専用リソースグループを VPC に関連付ける
専用リソースグループは、DataWorks がホストされている VPC にあります。専用リソースグループは他のネットワーク環境から切断されています。専用リソースグループを使用するには、データソースに接続できる VPC に専用リソースグループを関連付ける必要があります。これにより、専用リソースグループは VPC 経由でデータソースにアクセスできます。Data Integration 専用リソースグループを VPC に関連付けるには、次の手順を実行します。
4 vCPU と 8 GiB のメモリを使用する Data Integration 専用リソースグループは、最大 2 つの VPC に関連付けることができます。その他の仕様を使用する Data Integration 専用リソースグループは、最大 3 つの VPC に関連付けることができます。
DataWorks コンソール にログインします。
左側のナビゲーションウィンドウで、[リソースグループ] をクリックします。[専用リソースグループ] タブの [リソースグループ] ページで、Data Integration 専用リソースグループを見つけ、[アクション] 列の [ネットワーク設定] をクリックします。
Data Integration 専用リソースグループを VPC に関連付ける前に、Alibaba Cloud アカウントで RAM コンソールにログインし、DataWorks がクラウドリソースにアクセスすることを承認する必要があります。クラウドリソースアクセス承認 ページに移動して、DataWorks がクラウドリソースにアクセスすることを承認できます。また、Alibaba Cloud アカウントで初めて DataWorks コンソールにログインしたときに表示されるダイアログボックスの関連ボタンをクリックして、DataWorks がクラウドリソースにアクセスすることを承認することもできます。
専用リソースグループを VPC に関連付けます。
表示されるページの [VPC バインディング] タブで、[VPC の関連付けを追加] をクリックします。[VPC の関連付けを追加] パネルで、パラメータを構成します。データソースとリソースグループのネットワーク環境に基づいてパラメータを構成する必要があります。次の表に詳細を示します。
説明Alibaba Cloud データソースや Elastic Compute Service (ECS) インスタンスでホストされているセルフマネージドデータソースなどのデータソースにリソースグループを使用してアクセスする場合は、ネットワーク接続ソリューションを選択し、リソースグループとデータソースが同じ Alibaba Cloud アカウントに属しているかどうか基づいてネットワーク設定を構成できます。
パラメータ
説明(同じリージョンおよび Alibaba Cloud アカウント)
説明(異なるリージョンまたは Alibaba Cloud アカウント)
VPC
データソースと専用リソースグループが同じ Alibaba Cloud アカウントに属している場合は、データソースがある VPC を選択することをお勧めします。
データソースと専用リソースグループが異なる Alibaba Cloud アカウントに属している場合は、データソースと専用リソースグループが異なるリージョンにあるシナリオの説明に基づいてこのパラメータを構成します。
データソースと専用リソースグループが異なる Alibaba Cloud アカウントに属しているか、異なるリージョンにある場合は、データソースに接続する VPC を選択する必要があります。たとえば、データソースが VPC 内にない場合は、[VPC の作成] をクリックして、専用リソースグループの VPC を作成できます。VPC が作成されたら、VPC ドロップダウンリストから選択できます。データソースに接続する VPC を選択することもできます。
説明データソースと専用リソースグループが異なるリージョンにあるか、異なる Alibaba Cloud アカウントに属している場合は、VPN Gateway または Express Connect を使用して、専用リソースグループが関連付けられている VPC とデータソースがある VPC との間の接続を確立し、専用リソースグループのデータソースの IP アドレスを指すルートを追加する必要があります。詳細については、「ネットワーク接続ソリューション」をご参照ください。
ゾーン
データソースがあるゾーンを選択します。
データソースへのネットワーク接続が確立されているゾーンを選択します。
vSwitch
[VPC] パラメータをデータソースがある VPC に設定した場合は、データソースが関連付けられている vSwitch を選択することをお勧めします。
説明専用リソースグループをデータソースがある VPC とその VPC 内にある vSwitch に関連付けると、VPC の CIDR ブロックを指すルートが自動的に追加されます。これにより、専用リソースグループはこの VPC 内のデータソースにアクセスできます。
データソースが接続されている vSwitch を選択します。使用可能な vSwitch がない場合は、[vswitch の作成] をクリックして、専用リソースグループの vSwitch を作成できます。vSwitch が作成されたら、vSwitch を選択します。
[OK] をクリックします。
説明データソースと専用リソースグループが異なるリージョンにあるか、異なる Alibaba Cloud アカウントに属している場合は、専用リソースグループを VPC に関連付けた後に、データソースの IP アドレスを指すルートを追加する必要があります。
ホスト構成を追加します。この操作はオプションです。
IP アドレスを使用してデータソースにアクセスできない場合があります。たとえば、ホスト名を使用してのみデータソースにアクセスできます。この場合、次の手順を実行してホスト構成を追加する必要があります。そうでない場合、ホスト名を使用してデータソースを追加すると、接続テストが失敗します。
[ホスト名と IP のマッピング] タブをクリックします。このタブで、[追加] をクリックします。[ホスト名と IP のマッピングを作成] ダイアログボックスで、パラメータを構成します。次の表にパラメータを示します。
パラメータ
説明
IP アドレス
データソースの実際の IP アドレス。
ホスト名
データソースにアクセスするために使用されるホスト名。複数のホスト名を指定する場合は、各ホスト名を別の行に配置します。
データソースに複数の IP アドレスがある場合は、[追加] をクリックしてホスト構成を追加します。
説明ホスト構成に追加される IP アドレスまたはホスト名は、既存のホスト構成の IP アドレスまたはホスト名とは異なる必要があります。
1 つのホスト構成で 1 つの IP アドレスを複数のホスト名にマッピングできます。ただし、1 つのホスト名は 1 つの IP アドレスのみを指すことができます。
データソースの IP アドレスホワイトリストを構成する
Data Integration 専用リソースグループとデータソースが同じゾーン、同じ VPC、同じ vSwitch にあっても、リソースグループからデータソースへのアクセスは、データソースの IP アドレスホワイトリストの制限により失敗する可能性があります。この場合、次の手順に基づいてデータソースの IP アドレスホワイトリストを構成する必要があります。
内部ネットワーク経由で専用リソースグループとデータソース間のネットワーク接続を確立する場合は、リソースグループが関連付けられている vSwitch の CIDR ブロックをデータソースの IP アドレスホワイトリストに追加する必要があります。
リソースグループが関連付けられている vSwitch の CIDR ブロックを表示するには、次の操作を実行します。DataWorks コンソールにログインし、左側のナビゲーションウィンドウで [リソースグループ] をクリックします。[専用リソースグループ] タブの [リソースグループ] ページで、専用リソースグループを見つけ、[アクション] 列の [ネットワーク設定] をクリックします。表示されるページの [VPC バインディング] タブで、[vswitch CIDR ブロック] 列に CIDR ブロックが表示されます。
インターネット経由で専用リソースグループとデータソース間のネットワーク接続を確立する場合は、リソースグループの EIP をデータソースの IP アドレスホワイトリストに追加する必要があります。
Data Integration 専用リソースグループのネットワーク接続をテストする
上記のネットワーク構成を完了したら、次の操作を実行して、リソースグループとデータソース間のネットワーク接続をテストする必要があります。
データソースページに移動します。
DataWorks コンソール にログインします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションウィンドウで、 を選択します。表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[管理センターに移動] をクリックします。
[SettingCenter] ページの左側のナビゲーションウィンドウで、[データソース] をクリックします。
目的のデータソースを見つけ、変更[操作] 列の をクリックします。
表示されるページの [接続設定] セクションで、[data Integration] を選択し、使用する Data Integration 専用リソースグループを見つけて、[接続ステータス] 列の [ネットワーク接続のテスト] をクリックします。接続ステータスが [接続済み] の場合、リソースグループとデータソース間のネットワーク接続が確立されます。
説明リソースグループとデータソース間でネットワーク接続を確立できない場合は、[接続ステータス] 列の [セルフサービスのトラブルシューティング] をクリックして診断ツールを選択し、ネットワーク接続の例外を診断します。専用リソースグループとさまざまなネットワーク環境にあるデータソース間のネットワーク接続のソリューションについては、「ネットワーク接続ソリューション」をご参照ください。
[変更の完了] をクリックします。
Data Integration 専用リソースグループのリソース使用量を表示し、リソースグループを監視する
DataWorks コンソールで、リソースグループのリソース使用量と、リソースグループでリソースを待機しているインスタンスの数を確認できます。また、オペレーションセンターで提供されるインテリジェント監視機能を使用して、リソースグループのリソース使用量と、リソースグループでリソースを待機しているインスタンスの数を監視することもできます。リソースグループのリソース使用量を表示する方法については、「専用リソースグループのリソース使用量を表示する」をご参照ください。リソースグループを監視する方法については、「カスタムアラートルールを作成する」をご参照ください。
付録:Data Integration 専用リソースグループを使用してタスクを実行する
Data Integration 専用リソースグループが作成および構成されたら、次のいずれかの方法を使用して、タスクで使用されるリソースグループを新しく作成された Data Integration 専用リソースグループに変更できます。
操作の環境 | サポートされている変更操作 | エントリポイント |
本番環境 | 本番環境の複数のタスクの Data Integration リソースグループを同時に変更する | オペレーションセンターページに移動し、左側のナビゲーションウィンドウで を選択します。表示されるページで、リソースグループを変更するタスクを選択し、ページの下部にある [アクション] をクリックして、[data Integration リソースグループの変更] を選択します。 |
開発環境 |
| [datastudio] ページに移動します。
説明 タスクのリソースグループを変更するエントリポイントが見つからない場合は、フィルター条件セクションの [ノードタイプ] ドロップダウンリストから [オフライン同期] を選択して、すべてのバッチ同期タスクを検索できます。 |
(オプション)リソースグループのゾーンを変更する
リソースグループのゾーンを変更するには、次の手順を実行します。
DataWorks コンソール にログインします。
左側のナビゲーションウィンドウで、[リソースグループ] をクリックします。[専用リソースグループ] タブの [リソースグループ] ページで、[目的] が [data Integration] の専用リソースグループを見つけます。
アイコンをクリックし、[アクション] 列の [ゾーンの変更] を選択します。
[リソースグループのゾーンの変更] ダイアログボックスで、[現在のゾーン]、[マシン]、[新しいゾーン]、[使用するマシンの数] パラメータを構成します。
[OK] をクリックします。
リソースグループのゾーンを別のゾーンに変更すると、ネットワークの変更が発生する可能性があります。
リソースグループの CIDR ブロック:リソースグループの ECS インスタンスの各ゾーンには、独立した CIDR ブロックがあります。変更後、リソースグループの CIDR ブロックが変更されるかどうかは、リソースグループのゾーンが変更されるかどうかによります。リソースグループのゾーンが変更された場合、リソースグループの CIDR ブロックも変更されます。
リソースグループのプライマリ ENI IP アドレス:リソースグループの ECS インスタンスのゾーンを変更すると、ECS インスタンスのプライマリ ENI IP アドレスも変更され、システムは新しいゾーンの CIDR ブロックに属する IP アドレスを ECS インスタンスに割り当てます。
リソースグループに関連付けられた EIP:リソースグループが関連付けられている vSwitch の CIDR ブロックを目的のデータソースの IP アドレスホワイトリストに追加した場合、変更後に IP アドレスホワイトリストのアドレス情報を更新する必要はありません。リソースグループに関連付けられた EIP を IP アドレスホワイトリストに追加した場合は、変更後に IP アドレスホワイトリストのアドレス情報を更新する必要があります。これにより、リソースグループはデータソースにアクセスする権限を持ち、データソースで操作を実行できます。