全部產品
Search
文件中心

DataWorks:DataWorks資源群組概述

更新時間:Jun 19, 2024

DataWorks支援公用資源群組、獨享資源群組,本文為您介紹各類資源群組屬性說明與選擇指導。

背景資訊

  • 開通DataWorks時,DataWorks預設為您提供隨用隨付的公用資源群組,同時,支援您購買訂用帳戶獨享資源群組,或者升級為DataWorks標準版、專業版、企業版,將您的IDC機器作為DataWorks任務啟動並執行相關資源群組,詳情請參見資源群組介紹

  • 不同類型的資源群組用於任務不同的執行階段,本文以離線任務調度為例,為您介紹DataWorks離線任務下發機制,與任務運行過程中使用的資源群組。詳情請參見任務下發機制

  • 任務同一個執行階段可選擇不同類型的資源群組,例如,離線任務調度可選擇訂用帳戶獨享調度資源群組,或隨用隨付公用調度資源群組,Data Integration離線任務執行可選擇訂用帳戶獨享Data Integration資源群組,關於資源群組選擇詳情請參見資源群組選擇

  • DataWorks的公用資源群組、獨享資源群組均已預設接入Security Center免費版,為您提供伺服器異常登入檢測、DDoS攻擊檢測、主流類型的伺服器漏洞掃描等基礎的安全強化能力,詳情請參見Security Center免費版

費用說明

各類資源群組的費用說明詳情請參見計費邏輯說明

使用限制

僅阿里雲主帳號和同時擁有AliyunBSSOrderAccessAliyunDataWorksFullAccess策略的RAM使用者可以進行資源群組購買操作。授權操作請參見為RAM使用者授權

資源群組介紹

DataWorks包括獨享資源群組、公用資源群組,各資源群組根據任務調度、Data Integration、資料服務等不同的使用情境,細分為不同類型的資源群組,包括:獨享調度資源群組、獨享Data Integration資源群組、獨享資料服務資源群組、公用調度資源群組、公用資料服務資源群組。其中,DataWorks的調度資源群組用於保障任務的調度運行,Data Integration資源群組用於保障Data Integration任務中的資料轉送。 資料服務資源群組用於保障API的調用。

資源群組類型

計費方式

資源群組描述

調度資源群組

Data Integration資源群組

資料服務資源群組

獨享資源群組

訂用帳戶

  • 屬於平台託管類型的資源群組,購買後將擁有該資源群組的獨立使用權。

  • 支援通過資源群組綁定工作空間的操作,實現各個工作空間的資源隔離。

  • 支援擴容、縮容、升配或規格變更等靈活配置。

獨享調度資源群組

獨享Data Integration資源群組

獨享資料服務資源群組

說明

僅華東2(上海)地區支援使用獨享資料服務資源群組

公用資源群組

隨用隨付

開通DataWorks時,阿里雲DataWorks會自動為使用者提供公用資源群組(公用資料服務資源群組和公用調度資源群組),公用資源群組為DataWorks租戶共用,任務運行高峰期可能出現等待資源的情況。

使用公用資源群組

-

使用公用資源群組

任務下發機制

DataWorks的離線任務通過調度資源群組下發至各引擎或伺服器資源上執行。例如,DataWorks通過調度資源群組將任務下發至MaxCompute引擎上執行。Data Integration離線同步任務通過調度資源群組將任務下發至Data Integration任務執行資源上執行。公用Data Integration資源群組

資源群組選擇

以下通過機器資源歸屬、網路、任務執行時效性要求、適用情境、收費方式等維度為您對比展示各資源群組的現狀。方便您根據自身需求選擇合適的資源群組。

調度資源群組

類別

公用調度資源群組

獨享調度資源群組

機器資源歸屬

由DataWorks維護,是所有租戶競爭使用的共用資源。

由DataWorks維護,是每個租戶獨佔使用的計算資源。

網路

無法保證網路連通,包括但不限於以下情境:

  • 資料來源處於公網環境中,但資料來源有白名單設定,限制了未知IP的訪問。

  • 資料來源處於阿里雲VPC網路環境中。

可通過網路設定連通複雜的網路環境。詳情請參見:獨享調度資源群組

任務執行時效性要求

DataWorks使用者共用,無法保障時效性。

租戶獨佔,可以控制資源群組執行的並發數,並保障任務按時執行。

適用情境

由於租戶共同擁有資源的使用權,所以任務量多時,容易造成空間內任務阻塞。僅適用於低並發、低頻率的調用情境。

租戶可以控制資源群組執行的並發數,並支援對資源群組進行擴縮容,規格變更等操作,滿足任務量大,且對任務時效性要求高的情境。

收費

隨用隨付,詳情請參見公用調度資源群組計費說明:隨用隨付

訂用帳戶,詳情請參見獨享調度資源群組計費說明:訂用帳戶

推薦指數

★★★★★

選擇指引

  • 時效性要求:公用調度資源群組所有阿里雲DataWorks使用者共用,如果您的任務有時效要求,建議您選擇獨享調度資源群組。

  • 訪問非公網且有白名單限制的環境需求:公用資源群組不支援訪問非公網並且有白名單限制的環境,如果您有此類需求,建議您選擇使用獨享調度資源群組。

  • 任務量需求:日調度任務較多時,您可以選擇訂用帳戶獨享調度資源群組。

Data Integration資源群組

類別

獨享Data Integration資源群組

機器資源歸屬

由DataWorks維護,是每個租戶獨佔使用的計算資源。

網路

  • 擁有公網訪問能力。

  • 通過網路設定可以訪問任意網路環境下的資料庫。

支援的資料來源

全部資料來源。

任務執行時效性要求

租戶獨佔,可以控制資源群組執行的並發數,並保障任務按時執行。

適用情境

大量、重要的生產任務。

收費

訂用帳戶,詳情請參見獨享Data Integration資源群組計費說明:訂用帳戶

推薦指數

★★★★★

選擇指引

  • 時效性要求:在Data Integration任務高並發執行且無法錯峰啟動並執行情況下,企業需要獨享的計算資源來保障資料快速、穩定地傳輸,此時您可選擇使用獨享Data Integration資源群組。

  • 訪問內網環境的需求:獨享Data Integration資源群組擁有公網訪問能力,如果您的資料庫在公網內,獨享Data Integration資源群組支援您走公網進行同步。部分資料庫由於其自身特性,無法通過公網直接同步處理,具體詳情請參見各個資料來源與外掛程式說明文檔:支援的資料來源與讀寫外掛程式

  • 訪問複雜環境的需求:當需要訪問複雜網路環境下的資料庫時,請選擇訂用帳戶獨享Data Integration資源群組。關於網路解決方案詳情請參見:配置資源群組與網路連通

  • 即時同步需求:當進行資料即時同步時,您需要使用獨享Data Integration資源群組。

  • 自訂資料來源資源群組支援情況:部分資料來源僅支援使用獨享Data Integration資源群組,詳情請參見即時同步支援的資料來源

資料服務資源群組

公用資料服務資源群組為租戶共用資源。在對資料服務API進行高並發、高頻率的介面調用並需要及時返回資料結果的情況下,企業需要專有的計算資源來保障資料服務的可用性和穩定性。此種情境下建議您選擇DataWorks的獨享資料服務資源群組。計費詳情,請參見獨享資料服務資源群組計費說明:訂用帳戶資料服務