DataWorks のリソース管理を容易にし、ユーザーエクスペリエンスを向上させるために、DataWorks はサーバーレスリソースグループを導入しています。サーバーレスリソースグループは、専用スケジューリングリソースグループ、データ統合専用リソースグループ、DataService Studio 専用リソースグループの中核機能を同時に実装できます。 1 つのサーバーレスリソースグループのみを使用して、データ同期、タスクのスケジュールと実行、API の呼び出しと管理などの操作を実行できます。このトピックでは、サーバーレスリソースグループを作成および使用する方法について説明します。
前提条件
仕様、パフォーマンス、課金基準など、サーバーレスリソースグループの詳細について理解している。ビジネスシナリオに基づいて、必要な仕様とサブスクリプション期間を決定している。詳細については、「DataWorks リソースグループの概要」および「サーバーレスリソースグループの課金」をご参照ください。
サーバーレスリソースグループは、中国 (北京)、中国 (張家口)、中国 (ウランチャブ)、中国 (上海)、中国 (深セン)、中国 (杭州)、中国 (香港)、シンガポール、マレーシア (クアラルンプール)、インドネシア (ジャカルタ)、日本 (東京)、英国 (ロンドン)、米国 (シリコンバレー)、ドイツ (フランクフルト)、米国 (バージニア) の各リージョンでサポートされています。
必要な権限が付与されている。
AliyunBSSOrderAccess ポリシーと AliyunDataWorksFullAccess ポリシーがアタッチされている RAM ユーザーのみが、リソースグループを購入できます。RAM ユーザーに権限を付与する方法と RAM ユーザーの権限を表示する方法については、「RAM ユーザーに権限を付与する」および「RAM ユーザーの権限を表示する」をご参照ください。
ワークスペース管理者のみが、リソースグループをワークスペースに関連付けたり、リソースグループが関連付けられているワークスペースを変更したりできます。
リソースグループに対して他の操作を実行するために必要な権限については、「DataWorks コンソール内のエンティティに対する権限を管理するために使用されるカスタムポリシー」をご参照ください。
仮想ネットワークオペレーター (VNO) 環境でサーバーレスリソースグループを使用する場合は、最初にサービスプロバイダーがサーバーレスリソースグループの購入を許可しているかどうかを確認する必要があります。
DataWorks をアクティブ化したことがない場合は、DataWorks をアクティブ化した後にのみサーバーレスリソースグループを購入して使用できます。旧バージョンのリソースグループを購入または使用することはできません。
サーバーレスリソースグループと旧バージョンのリソースグループの比較
比較項目 | 旧バージョンのリソースグループ (排他的リソースグループと共有リソースグループ) | サーバーレスリソースグループ |
分類 | リソースグループは、その目的に基づいて、データ統合用リソースグループ、スケジューリング用リソースグループ、DataService Studio 用リソースグループに分類されます。 | リソースグループは汎用であり、分類されません。 |
機能のサポート | DataWorks の一部の機能はサポートされていません。 | DataWorks のすべての機能がサポートされています。 |
混在使用のサポート | 各タイプのリソースグループは 1 つの目的にのみ使用されます。 | リソースグループは、データ同期、スケジューリング、DataService Studio で同時に使用できます。 |
販売モード | リソースグループは、仕様とマシンの数に基づいて課金されます。 リソースグループには少なくとも 1 台のマシンが含まれている必要があり、マシンの最小仕様は 4 vCPU と 8 GiB のメモリです。リソースグループをスケールアウトするための最小ステップサイズは、仕様が 4 vCPU と 8 GiB のメモリである 1 台のマシンです。 | リソースグループは計算ユニット (CU) 単位で販売されます。 リソースグループには少なくとも 2 CU が含まれている必要があります。リソースグループをスケールアウトするための最小ステップサイズは 1 CU です。 |
課金方法 |
| サブスクリプションと従量課金の両方の課金方法がサポートされています。 |
リソースの浪費 | DataWorks は、リソースグループに対して限られた種類の仕様のみを提供します。これにより、各タイプの仕様のマシンに特定量のリソースフラグメントが生成されます。その結果、リソースが浪費されます。 | ビジネス要件に基づいて CU の数を決定できます。これにより、リソースの浪費を防ぎます。 |
スケーラビリティ |
| リソースグループの CU の数を直接変更できます。 |
スケールアウトまたはスケールインによって生成される影響 | 実行中のタスクは影響を受けます。 | 実行中のタスクは影響を受けません。 説明 サーバーレスリソースグループの構成のスペックアップまたはスペックダウンは、サーバーレスリソースグループで実行されているタスクには影響しません。実行中 |
ネットワークセキュリティ | DataWorks は、リソースグループのインターネットの送受信トラフィックを管理します。リソースグループのインターネット帯域幅は複数のユーザーで共有されます。これにより、リソースの競合が発生します。 | ユーザーは独自のインターネット機能を使用するため、ユーザーの動作を制御できます。 |
開発トレンド | 旧バージョンのリソースグループは、将来的に廃止される予定です。 | サーバーレスリソースグループは、DataWorks によってサポートされる唯一のリソースグループになります。 |
カスタムイメージのサポート | カスタムイメージはサポートされていません。 | カスタムイメージ がサポートされています。サーバーレスリソースグループを使用してタスクをデプロイする場合、タスクの実行に必要なすべてのコンポーネントを含むイメージを作成できます。これは、タスクを実行するためのより多くの条件を満たすのに役立ちます。 |
注意事項
リソースグループがデータベース、データサービス、または特定のネットワーク環境内の他のデータなどの目的のデータソースにアクセスできるようにするには、データソースの状況に基づいて、リソースグループとデータソース間のネットワーク接続を事前に確立する必要があります。詳細については、「ネットワーク接続ソリューション」をご参照ください。
重要サーバーレスリソースグループを仮想プライベートクラウド (VPC) に関連付けることで、リソースグループが内部ネットワーク経由で複雑なネットワーク環境内のデータソースまたはアドレスにアクセスできるようにすることができます。デフォルトでは、サーバーレスリソースグループはインターネットにアクセスできません。サーバーレスリソースグループを使用してインターネット経由でデータソースまたはネットワーク環境にアクセスする場合は、リソースグループが関連付けられている VPC に インターネット NAT ゲートウェイ を構成し、インターネット NAT ゲートウェイを Elastic IP Address (EIP) に関連付ける必要があります。詳細については、このトピックの「シナリオ 5: リソースグループとインターネットにデプロイされているデータソース間のネットワーク接続を確立する」セクションをご参照ください。
サーバーレスリソースグループを VPC と vSwitch に関連付けた場合は、VPC と vSwitch の構成を変更しないでください。変更すると、サーバーレスリソースグループで実行される DataWorks タスクが失敗する可能性があります。
サーバーレスリソースグループの課金方法を従量課金とサブスクリプションの間で切り替えることはできません。たとえば、サーバーレスリソースグループにサブスクリプション課金方法を選択した場合、リソースグループの使用時にこの課金方法に基づいて課金されます。リソースグループの課金方法を従量課金に変更することはできません。
サーバーレスリソースグループの課金
サーバーレスリソースグループの課金については、「サーバーレスリソースグループの課金」をご参照ください。
ステップ 1: サーバーレスリソースグループを作成する
リソースグループページに移動します。
DataWorks コンソール にログオンします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションウィンドウで、[リソースグループ] をクリックして、リソースグループページに移動します。
リソースグループページの [排他的リソースグループ] タブで、[リソースグループの作成] をクリックして、サーバーレスリソースグループの購入ページに移動します。
パラメーター
説明
リージョンとゾーン
リソースグループを作成するリージョン。リージョンは、ワークスペースが存在するリージョンと同じである必要があります。
課金方法
サブスクリプション: リソースグループを使用する前に料金を支払う必要があります。
従量課金: リソースグループを使用する前に料金を支払う必要はありません。
説明サーバーレスリソースグループの課金方法を従量課金とサブスクリプションの間で切り替えることはできません。たとえば、サーバーレスリソースグループにサブスクリプション課金方法を選択した場合、リソースグループの使用時にこの課金方法に基づいて課金されます。リソースグループの課金方法を従量課金に変更することはできません。
ビジネス要件に合わせて、異なる課金方法に基づいて課金される複数のサーバーレスリソースグループを購入できます。
リソースグループの仕様
このパラメーターは、[課金方法] パラメーターを [サブスクリプション] に設定した場合にのみ必須です。
有効な値: 2 ~ 99999999。単位: CU。
説明1 CU = 1 vCPU コア + 4 GiB のメモリ
。購入の推奨事項と、さまざまなタイプのタスクを実行するために必要な最小仕様については、「パフォーマンスメトリックと購入の推奨事項」をご参照ください。値
99999999
は、購入できる CU の数に制限がないことを示します。ただし、購入できる CU の数は在庫状況の影響を受ける場合があります。在庫が不足している場合は、サーバーレスリソースグループを購入する際に表示されるプロンプトに注意する必要があります。
リソースグループ名
リソースグループの名前。
リソースグループの説明
リソースグループの説明。
VPC
リソースグループを関連付ける VPC と vSwitch。リソースグループがアクセスする必要のあるネットワークに基づいて VPC を選択できます。
リソースグループが同じ Alibaba Cloud アカウントに属し、リソースグループと同じリージョンに存在するデータソースにアクセスする必要がある場合は、データソースが存在する VPC と、その VPC 内の vSwitch を選択できます。
リソースグループが複雑なネットワーク環境にあるデータソースにアクセスする必要がある場合は、VPN Gateway や Express Connect などの接続ツールを使用して、リソースグループが関連付けられている VPC とデータソースが存在する VPC との間のネットワーク接続を確立する必要があります。詳細については、「ネットワーク接続ソリューション」をご参照ください。
説明使用可能な VPC または vSwitch がない場合は、VPC コンソール に移動して VPC または vSwitch を作成する必要があります。 VPC の詳細については、「VPC とは」をご参照ください。
リソースグループの作成後、リソースグループを 1 つ以上の他の VPC に関連付けることができます。
[課金方法] パラメーターを [サブスクリプション] に設定し、選択した VPC が DataService Studio、データコンピューティング、データ同期で使用されている場合、DataService Studio でリソースグループを使用しているときに、リソースグループを別の VPC に関連付けたり、リソースグループに関連付けられている VPC を変更したりすることはできません。事前に適切な計画を立ててください。
サーバーレスリソースグループを VPC と vSwitch に関連付けた場合は、VPC と vSwitch の構成を変更しないでください。変更すると、サーバーレスリソースグループで実行される DataWorks タスクが失敗する可能性があります。
vSwitch
課金サイクル
リソースグループのサブスクリプション期間。このパラメーターは、[課金方法] パラメーターを [サブスクリプション] に設定した場合にのみ必須です。
重要リソースグループの有効期限が切れたときにサービスの停止またはリソースの解放によってビジネスに影響が出ないようにするには、[自動更新] を選択することをお勧めします。自動更新を選択すると、リソースグループの有効期限が切れる前に、実際の価格に基づいて Alibaba Cloud アカウントから料金が自動的に差し引かれます。自動更新サイクルは 1 か月です。
サービスロール
サービスリンクロール。サーバーレス リソースグループを初めて作成するときは、AliyunServiceRoleForDataWorks という名前の[サービスリンクロールを作成]する必要があります。以降の操作でサーバーレス リソースグループを作成すると、システムによってサービスリンクロールが自動的に割り当てられます。
説明AliyunServiceRoleForDataWorks を作成してください
というプロンプトが表示された場合は、Alibaba Cloud アカウントの所有者または必要な権限を持つユーザーに 認証ページの URL を提供できます。所有者またはユーザーが認証を実行した後、操作を続行できます。[サービスロール] AliyunServiceRoleForDataWorks は、VPC、ENI (Elastic Network Interface)、セキュリティグループ内のリソースにアクセスするために使用されます。サービスロールの詳細については、「DataWorks サービスロール」をご参照ください。
ステップ 2: リソースグループをワークスペースに関連付ける
リソースグループの作成後、リソースグループをワークスペースに関連付ける必要があります。その後、ワークスペースでタスクを作成するときに、リソースグループを選択できます。
ワークスペースの作成時にリソースグループを関連付ける
DataWorks コンソール にログオンします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションウィンドウで、[ワークスペース] をクリックして、ワークスペースページに移動します。
ワークスペースページで、[ワークスペースの作成] をクリックします。[ワークスペースの作成] ページで、[デフォルトのリソースグループ] ドロップダウンリストから作成したリソースグループを選択します。
既存のワークスペースにリソースグループを関連付ける
リソースグループページに移動します。
DataWorks コンソール にログオンします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションウィンドウで、[リソースグループ] をクリックして、リソースグループページに移動します。
リソースグループページで、作成したリソースグループを見つけ、[アクション] 列の [ワークスペースの関連付け] をクリックします。[ワークスペースの関連付け] パネルで、リソースグループを関連付けるワークスペースを見つけ、[アクション] 列の [関連付け] をクリックします。
ステップ 3: ネットワーク接続を構成する
タスクが予期どおりに実行されるようにするには、ネットワーク接続の構成を完了する必要があります。これにより、リソースグループが目的のデータソースにアクセスできます。詳細については、「ネットワーク接続ソリューション」をご参照ください。
サーバーレスリソースグループを仮想プライベートクラウド (VPC) に関連付けることで、リソースグループが内部ネットワーク経由で複雑なネットワーク環境内のデータソースまたはアドレスにアクセスできるようにすることができます。デフォルトでは、サーバーレスリソースグループはインターネットにアクセスできません。サーバーレスリソースグループを使用してインターネット経由でデータソースまたはネットワーク環境にアクセスする場合は、リソースグループが関連付けられている VPC に インターネット NAT ゲートウェイ を構成し、インターネット NAT ゲートウェイを Elastic IP Address (EIP) に関連付ける必要があります。詳細については、このトピックの「シナリオ 5: リソースグループとインターネットにデプロイされているデータソース間のネットワーク接続を確立する」セクションをご参照ください。
サーバーレスリソースグループが関連付けられている VPC の内部 DNS 解決レコードを構成できます。これにより、サーバーレスリソースグループはカスタム内部ドメイン名を使用して関連データソースにアクセスできます。たとえば、サーバーレスリソースグループを CDH クラスタがデプロイされている VPC に関連付け、VPC の内部 DNS 解決レコードを構成すると、サーバーレスリソースグループはカスタムドメイン名を使用して CDH クラスタにアクセスできます。詳細については、「準備: CDH または CDP クラスタに関する構成情報を取得し、ネットワーク接続を構成する」をご参照ください。
ステップ 4: リソースグループの構成項目を変更する
クォータを管理する
データコンピューティング、データ同期、DataService Studio でリソースグループを使用する場合は、リソースグループの [最大 CU クォータ] または [最小 CU クォータ] を構成できます。これにより、タスクが予期どおりに実行されるようになります。
リソースグループの課金方法が従量課金の場合は、リソースグループの最大 CU クォータを構成して、過剰なリソース消費を防ぐことができます。
リソースグループの課金方法がサブスクリプションの場合は、リソースグループの最小 CU クォータを構成できます。
リソースグループページに移動します。
DataWorks コンソール にログオンします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションウィンドウで、[リソースグループ] をクリックして、リソースグループページに移動します。
リソースグループのクォータを変更します。
リソースグループページでリソースグループのクォータを変更します。
リソースグループページで、リソースグループを見つけ、
[アクション] 列の クォータの管理最大 CU クォータ最小 CU クォータ アイコンをクリックし、 をクリックします。[クォータの管理] ダイアログボックスで、さまざまな目的に合わせて または を変更します。
リソースグループの詳細ページでリソースグループのクォータを変更します。
リソースグループページで、リソースグループを見つけ、[リソースグループ名] をクリックして、リソースグループの詳細ページに移動します。詳細ページの右上隅にある [クォータの管理] をクリックします。[クォータの管理] ダイアログボックスで、リソースグループの [最大 CU クォータ] または [最小 CU クォータ] を変更します。
データスケジューリングで許可される並列タスクの最大数を変更する
リソースグループをデータスケジューリングで使用する場合は、リソースグループで実行できる並列タスクの最大数を指定できます。
デフォルトでは、許可される並列タスクの最大数は 50 です。許可される並列タスクの最大数の上限は 200 です。
リソースグループページに移動します。
DataWorks コンソール にログオンします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションウィンドウで、[リソースグループ] をクリックして、リソースグループページに移動します。
データスケジューリングで許可される並列タスクの最大数を変更します。
リソースグループページで並列タスクの最大数を変更します。
リソースグループページで、リソースグループを見つけ、
[アクション] 列の [データスケジューリングの並列スレッドのしきい値を指定][データスケジューリングの並列スレッドのしきい値を指定] アイコンをクリックし、 をクリックします。[データスケジューリングの並列スレッドのしきい値を指定する] ダイアログボックスで、 パラメーターの値を変更します。
リソースグループの詳細ページで並列タスクの最大数を変更します。
リソースグループページで、リソースグループを見つけ、[リソースグループ名] をクリックして、リソースグループの詳細ページに移動します。詳細ページの右上隅にある [データスケジューリングの並列スレッドのしきい値を指定する] をクリックします。[データスケジューリングの並列スレッドのしきい値を指定する] ダイアログボックスで、[データスケジューリングの並列スレッドのしきい値を指定する] パラメーターの値を変更します。
説明[データスケジューリングの並列スレッドのしきい値を指定する] パラメーターに指定する値は、リソースグループで並列にスケジュールできるタスク数の上限です。この値はタスクの実行とは関係なく、タスクの実行動作を制限するものではありません。
次のステップ: さまざまなタスクのリソースグループを構成する
リソースグループを作成および構成した後、データ同期、データスケジューリング、DataService Studio タスクのリソースグループを構成して、リソースグループを使用してタスクを実行する必要があります。詳細については、「一般的なリファレンス: タスクで使用されるリソースグループを変更する」をご参照ください。
その他の操作
参考資料
リソースグループの詳細については、「DataWorks リソースグループの概要」をご参照ください。
オペレーションセンターで提供されているインテリジェントモニタリング機能を使用して、リソースグループのリソース使用量と、リソースグループでリソースを待機しているインスタンスの数を監視できます。インテリジェントモニタリング機能の使用方法の詳細については、「カスタムアラートルールを作成する」をご参照ください。
リソースグループページでリソースグループのステータスを表示する場合は、次の点に注意してください。
リソースグループの [有効期限] が切れている場合は、
[アクション] 列の 更新 アイコンをクリックし、 をクリックして、リソースグループを更新できます。
リソースグループのリソース使用量が警告しきい値に達した場合は、
[アクション] 列の [スケールアウト]リソースグループをスケールアウトまたはスケールインする アイコンをクリックし、 をクリックして、リソースグループをスケールアウトできます。詳細については、このトピックの「」セクションをご参照ください。
サーバーレスリソースグループでタスクを実行するために、サードパーティライブラリの依存関係を持つ環境などの特定の開発環境が必要な場合は、必要なすべての開発パッケージと依存関係を含む カスタムイメージ を作成できます。その後、サーバーレスリソースグループでタスクを実行するときに、カスタムイメージを実行時環境として使用できます。
サーバーレスリソースグループのサブスクリプションを解除する場合は、リソースグループページでサーバーレスリソースグループを見つけ、
[アクション] 列の サブスクライブ解除一般的なリファレンス: DataWorks の機能またはリソースの使用停止 アイコンをクリックし、 を選択します。詳細については、「」をご参照ください。