全部產品
Search
文件中心

DataWorks:新增和使用新版資源群組

更新時間:Jun 21, 2024

為了加強DataWorks功能間的資源管理和統一使用者體驗,DataWorks推出新版資源群組,涵蓋了原獨享調度資源群組、獨享Data Integration資源群組、獨享資料服務資源群組的核心功能,通過一個資源群組即可完成資料同步、任務調度運行、調用及管理API服務等操作。本文檔將詳細介紹如何新增和使用新版資源群組。

前提條件

  • 您需要先瞭解新版資源群組的規格效能、計費類型等細節,提前根據業務情境規劃需購買的資源群組規格和購買時間長度,詳情請參見:新版資源群組計費

  • 新版資源群組目前處於逐步灰階發布階段,如果您需要使用但所處地區暫未發布,請提交工單聯絡技術支援人員開放。

  • 新版資源群組支援的地區:華北2(北京)、華東2(上海)、華南1(深圳)、華東1(杭州)、中國(香港)、華北3(張家口)、新加坡、馬來西亞(吉隆坡)、印尼(雅加達)、日本(東京)、德國(法蘭克福)、英國(倫敦)、美國(矽谷)、美國(維吉尼亞)。

  • 已具備資源群組相關許可權:

新版資源群組與舊版資源群組對比

對比項

舊版資源群組(獨享資源群組和公用資源群組)

新版資源群組(通用型資源群組)

使用方法

按照功能進行區分,分為Data Integration、資料調度、資料服務三種資源群組。

通用型不區分用途。

功能邊界

DataWorks部分能力舊版資源群組不支援。

支援DataWorks的所有功能。

支援混用

不支援,不同類型相互之間無法混用。

支援,一個資源群組可以被所有功能(Data Integration、資料調度、資料服務)使用。

售賣形式

按照機器規格和台數收費。

最小需要購買一台4c8g,最小擴容步長為一台4c8g。

按照CU進行售賣。

最小需要購買2 CU,最小擴容步長為1 CU。

收費方式

  • 獨享資源群組只有訂用帳戶一種方式。

  • 公用資源群組只有隨用隨付一種方式。

支援訂用帳戶和隨用隨付兩種形式。

資源片段的浪費

機器規格只有有限幾種,因此存在每種機器上都會有一定量的資源片段無法利用,造成資源浪費。

按需選擇合適CU數,避免了資源浪費。

擴縮容能力

  • 升級或降級規格。

  • 增加或減少台數。

直接對於資源群組CU數修改即可。

擴縮容時影響

影響已經在啟動並執行任務。

已經啟動並執行任務不受影響。

網路安全性

DataWorks代持公網出入口。多使用者共用,存在資源爭搶。

完全使用客戶自己的公網能力,行為可控。

發展趨勢

計劃未來下線。

成為DataWorks唯一正式的資源群組。

是否支援自訂鏡像

不支援。

支援自訂鏡像管理,能夠定製化構建任務執行所需組件的鏡像,滿足更多任務執行條件。

注意事項

  • 為了確保資源群組可以訪問到資料來源(目標網路環境下的資料庫、資料服務或其他資料),請提前根據資料來源情況,瞭解並完成網路連通。詳情請參見網路連通方案

  • 若VPC、V-Switch已綁定至DataWorks新版資源群組,請勿隨意變更VPC、V-Switch的環境,該操作可能導致DataWorks上的任務執行失敗。

新版資源群組計費

資源群組相關計費,請參見新版資源群組計費

步驟一:新增新版資源群組

  1. 進入資源群組列表頁面。

    登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資源群組列表,進入資源群組列表頁面。

  2. 獨享資源群組頁簽下單擊建立資源群組,進入新版資源群組購買頁面。

    參數

    說明

    地區和可用性區域

    選擇地區,需要和DataWorks工作空間所在的地區一致。

    付費模式

    • 訂用帳戶:預付費模式。

    • 隨用隨付:後付費模式。

    資源群組規格

    當付費模式為訂用帳戶時,需要設定資源群組規格。

    取值範圍:2 CU ~ 99999999 CU。

    說明
    • 1 CU = 1核CPU + 4GiB記憶體,如需使用資料服務,請至少購買4 CU。

    • 上限99999999 CU即表示購買規格無上限,但可能受庫存影響,如庫存不足時,請關注購買頁提示。

    資源群組名稱

    設定資源群組名稱。

    資源群組備忘

    設定資源群組備忘說明。

    Virtual Private Cloud

    根據資源群組需要連通的專用網路來選擇。

    • 資料來源與新版資源群組同帳號同地區:配置資料來源的VPC和交換器。

    • 資料來源在其他複雜網路環境下:您還需通過VPN網關Express Connect等方式,將新版資源群組綁定的VPC與資料來源所在VPC網路打通。詳情請參見網路連通方案

    說明
    • 如果下拉式清單沒有選項,需要前往VPC控制台建立。Virtual Private Cloud的更多資訊,請參見什麼是Virtual Private Cloud

    • 資源群組支援綁定多個VPC,您可以在購買完成後為其綁定其他VPC。

    • 如果資源群組付費模式為訂用帳戶,則此處配置的VPC被應用於資料服務、資料計算和Data Integration後,資料服務無法再新綁定專用網路或更換專用網路,請提前規劃。

    • 若VPC、V-Switch已綁定至DataWorks新版資源群組,請勿隨意變更VPC、V-Switch的環境,該操作可能導致DataWorks上的任務執行失敗。

    交換器(V-Switch)

    計費周期

    當付費模式為訂用帳戶時,需要設定計費周期。

    重要

    建議選中到期自動續約,可避免因資源到期停機或釋放而影響業務。勾選後,自動續約周期為每月,在執行個體到期前會以即時價格自動計費。自動續約可隨時取消,詳情請參見關於自動續約和手動續約

    服務關聯角色

    關聯服務角色,首次購買時需要建立服務關聯角色(AliyunServiceRoleForDataWorks),後續會預設關聯已建立的角色。

    說明

    服務關聯角色(AliyunServiceRoleForDataWorks),用於訪問Virtual Private Cloud、彈性網卡ENI及安全性群組中的資源,該角色的更多許可權細節,請參見DataWorks服務關聯角色

步驟二:為工作空間綁定資源群組

建立資源群組後,還需要將其與工作空間綁定,綁定完成後,才可以在目標工作空間建立各項任務時選擇並使用新版資源群組。

  • 建立工作空間時綁定資源群組

    1. 登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的工作空間列表,進入工作空間列表頁面。

    2. 單擊建立工作空間,在建立工作空間頁面,修改參數預設資源群組配置的取值為已建立的目標資源群組。

  • 為已有工作空間綁定資源群組

    1. 進入資源群組列表頁面。

      登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資源群組列表,進入資源群組列表頁面。

    2. 點擊目標資源群組右側操作列的image.png> 修改歸屬工作空間,找到待綁定的工作空間後,單擊操作列的綁定

步驟三:網路連通

為了確保各項任務的順利進行,您需要完成網路連通的相關配置,使資源群組可以訪問到資料來源。具體請參見網路連通方案

步驟四:資源群組配置項調整

配額管理

您可以為資料計算、Data Integration和資料服務分別配置資源群組的CU上限CU保障,以確保各項任務能夠順利運行。

說明
  • 隨用隨付資源群組配置CU上限,防止資源使用過多。

  • 訂用帳戶資源群組配置CU保障,設定最低CU保障額度。

  1. 進入資源群組列表頁面。

    登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資源群組列表,進入資源群組列表頁面。

  2. 調整配額。

    • 在資源群組列表頁調整。

      單擊目標資源群組操作列的image > 配額管理,然後修改不同用途的CU上限CU保障取值。

    • 在資源群組詳情頁調整。

      在資源群組列表頁,單擊目標資源群組名稱,進入資源群組詳情頁面。在右上方單擊配額管理,然後修改不同用途的CU上限CU保障取值。

資料調度並發上限調整

在資料調度情境下,您可以手動設定任務並發上限,控制最大允許多少個任務同時執行。

說明

資料調度並發預設為50,最大可調整至200。

  1. 進入資源群組列表頁面。

    登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資源群組列表,進入資源群組列表頁面。

  2. 調整資料調度並發上限。

    • 在資源群組列表頁調整。

      單擊目標資源群組操作列的image > 資料調度並發上限,然後修改資料調度並發上限取值。

    • 在資源群組詳情頁調整。

      在資源群組列表頁,單擊目標資源群組名稱,進入資源群組詳情頁面。在右上方單擊資料調度並發上限,然後修改資料調度並發上限取值。

    說明

    此處配置的資料調度並發上限,僅為純資料調度任務的任務並發,不含計算型、Data Integration等。

下一步:為各項任務配置新版資源群組

新版資源群組建立並配置完成後,您需要為Data Integration、資料調度、資料服務等任務配置資源群組,以便在各項任務中應用新版資源群組。具體操作,請參見通用參考:切換資源群組

更多操作

查看新版資源群組使用率

訂用帳戶資源群組使用率較高將阻塞任務執行,您可使用如下方式查看運行在該資源群組上的任務、資源群組當前使用率、記錄點資源的使用方式以及每個任務佔用的資源量。

  1. 進入資源群組列表頁面。

    登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資源群組列表,進入資源群組列表頁面。

  2. 查看資源群組使用率。

    • 在資源群組列表頁查看。

      查看目標資源群組當前利用列展示的資源群組使用率。

    • 在資源群組詳情頁查看。

      在資源群組列表頁,單擊目標資源群組名稱,進入資源群組詳情頁面。通過資源使用率曲線回看記錄點資源的使用方式,並按照資源群組使用情境查看各情境下正在運行或等待啟動並執行任務詳情。

資源群組擴縮容操作

如果您在訂用帳戶資源群組詳情頁查看資源群組使用率過高,可以手動擴容資源群組規格,從而提升Data Integration、任務調度、資料服務的任務處理效能。如果訂用帳戶資源群組實際使用率較低,可手動縮容資源群組規格,從而節約成本。

  1. 進入資源群組列表頁面。

    登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資源群組列表,進入資源群組列表頁面。

  2. 單擊目標資源群組操作列的image > 擴容縮容

    說明

    縮容可能導致任務變慢,請評估後謹慎操作。

  3. 在資源群組變更配置頁面,調整資源群組規格後,勾選服務合約,單擊立即購買

相關文檔

  • 資源群組的更多介紹,請參見DataWorks資源群組概述

  • 支援通過營運中心的智能監控功能來對資源群組的使用率及等待資源的執行個體數進行監控。詳情請參見建立自訂規則

  • 在資源群組列表頁,查看執行個體狀態時:

    • 如果資源群組顯示已到期,請單擊目標資源群組操作列的image.png> 續約

    • 如果資源群組的資源使用率達到警戒線,請單擊目標資源群組操作列的image.png> 擴容,詳情請參見資源群組擴縮容操作

  • 如果您在通用型資源群組(新版資源群組)部署任務時,需要特定開發環境支援,可以使用鏡像管理功能,該功能支援定製化構建包含所有必要元件的鏡像,不僅滿足任務執行條件,還最佳化了工作流程的可靠性和維護性,實現資料處理的無縫高效運行。