在任務高並發執行且無法錯峰啟動並執行情況下,需要專有的計算資源來保障任務定時被調度運行時,建議您選擇使用DataWorks的獨享調度資源群組。本文為您概要介紹獨享調度資源群組。
適用情境
對任務時效性要求高,避免公用資源群組資源爭搶導致任務延時。
需要靈活調整資源群組大小。
需要訪問公網地址、VPC、IDC。
需要通過IP白名單進行存取控制。
DataWorks某些任務類型僅支援獨享資源群組,包括EMR、CDH、ADB等。
使用限制
獨享調度資源群組的購買計費類型為訂用帳戶,在資源群組到期前不支援提前刪除、釋放資源群組,資源群組到期後會按照規定的時間停服、釋放。
獨享調度資源群組不支援跨地區使用。例如,華東2(上海)地區的獨享調度資源群組,只能給華東2(上海)地區的工作空間使用。
獨享調度資源群組不支援執行yum命令。
效能指標
規格 | 最大並發運行執行個體數 |
4c8g | 16 |
8c16g | 32 |
12c24g | 48 |
16c32g | 64 |
24c48g | 96 |
計費與相關操作
如您需要專業的售前購買指導,請前往查看:DataWorks購買指引。可以使用DingTalk掃描下方二維碼加入DataWorksDingTalk交流群溝通與售前諮詢。
(1)計費說明
獨享調度資源群組的計費方式為訂用帳戶,您可以根據自身需求選擇合適的規格進行購買,不同規格的計費詳情請參見獨享調度資源群組計費說明:訂用帳戶。
(2)擴容與縮容
您可以根據業務需求選擇購買獨享資源群組,指定購買資源群組內機器規格、機器數量,購買完成後,您可以對資源群組進行擴容或縮容操作,擴縮容操作步驟和注意事項請參見擴縮容操作。
(3)規格變更(升降配)
如果當前獨享資源群組規格不符合實際需要,您可以針對該資源群組進行規格變更。變更當前資源群組的規格,資源群組內所有機器的規格將統一變更,規格變更操作步驟和注意事項請參見變更規格操作。
(4)續約、停服與釋放資源群組
您可以在獨享資源群組臨近到期時進行續約操作,或等待資源群組到期後停服並自動釋放資源。詳情請參見到期說明及續約操作。
使用獨享調度資源群組
瞭解上述獨享調度資源的規格計費詳情後,您可以選擇購買合適的獨享調度資源群組並在Data Integration、資料開發等任務中使用。從購買至使用,您需進行的主要操作流程如下:
購買獨享資源群組。
綁定工作空間。
(可選)為獨享資源群組綁定專用網路。
(可選)添加白名單。
應用樣本:獨享調度資源群組。
操作詳情請參見新增和使用獨享調度資源群組。
網路連通方案
獨享調度資源群組與其他資源群組類似,本質上為一組阿里雲ECS執行個體,在進行資料開發等任務運行時,需保障資源群組與資料來源之間的網路是連通的,且不會因為白名單等特殊安全訪問設定阻斷資源群組與資料來源之間的網路連通性。
如果獨享調度資源群組的應用過程中,不涉及與資料來源的互動,則不涉及獨享調度資源群組與資料來源間的網路連通問題,獨享調度資源群組購買後即可直接使用,無需考慮網路的相關影響。
獨享調度資源群組購買後,需綁定一個VPC網路,後續您可以根據資料來源所在的網路環境情況來選擇網路連通方案。
- 網路連通方案
資料來源網路環境 網路連通方案 資料來源處於公網環境中 資料來源與獨享資源群組綁定的VPC網路直連即可連通。 資料來源處於VPC網路中,且與獨享資源群組在同一地區 建議獨享資源群組與資料來源綁定同一VPC,綁定後系統自動為您添加一條路由至整個VPC的路由,您綁定VPC的任意一個交換器,獨享資源群組與資料來源的網路都可連通。 資料來源處於VPC網路中,且與獨享資源群組在不同地區 使用Express Connect或VPN等將網路連通資料來源與獨享資源群組綁定的VPC網路,並添加一條路由指向目標資料庫IP,保障兩個網路間網路可達。 資料來源處於IDC網路中 使用Express Connect或VPN等將網路連通資料來源與獨享資源群組綁定的VPC網路,並添加一條路由指向目標資料庫IP,保障兩個網路間網路可達。 資料來源處於傳統網路中 獨享資源群組處於阿里雲VPC網路,如果資料來源處於傳統網路環境中,則資料來源與獨享資源群組間網路無法連通,建議您將資料來源遷移至VPC網路中。 - 白名單配置
如果資料來源設定有白名單限制訪問地址時,您需要將獨享資源群組的訪問地址添加至資料來源的訪問白名單中,避免訪問受限。詳情可參見使用獨享Data Integration資源群組執行任務需要在資料庫添加的IP白名單。
常見問題
DataWorks獨享資源群組的常見問題,詳情請參見獨享資源群組。