在Data Integration任務高並發執行且無法錯峰啟動並執行情況下,需要專有的計算資源群組來保障資料快速、穩定的傳輸時,建議您選擇使用DataWorks的獨享Data Integration資源群組。本文為您概要介紹獨享Data Integration資源群組。
功能介紹
獨享Data Integration資源群組的功能亮點如下:- 支援複雜網路環境下的資料同步。例如,跨雲環境(金融雲、政務雲等)、跨阿里雲帳號、本地IDC資料同步。
- 具有豐富的產品能力:
- 支援離線資料同步。例如,增量與全量資料同步,單表及分庫分表資料同步。詳情請參見離線同步能力說明。
- 支援即時資料同步。例如,單表即時資料同步、整庫即時資料同步。詳情請參見即時同步能力說明。
- 提供一系列同步解決方案。例如,整庫離線資料同步,單表或整庫全增量即時資料同步。詳情請參見Data Integration側同步任務能力說明。
獨享Data Integration資源群組保障的是資料同步執行個體可以同時啟動並執行匯流排程數量,而非可以同時啟動並執行資料同步執行個體本身。如果您需要保障可以同時啟動並執行資料同步執行個體的數量,請購買獨享調度資源群組。
使用限制
- 獨享Data Integration資源群組的計費方式為訂用帳戶,在資源群組到期前不支援提前刪除、釋放資源群組,資源群組到期後會按照規定的時間停服、釋放。
- 獨享Data Integration資源群組不支援跨地區使用。例如,華東2(上海)地區的獨享Data Integration資源群組,只能給華東2(上海)地區的工作空間使用。
- 獨享Data Integration資源群組不支援訪問阿里雲傳統網路。如果您的資料來源處於傳統網路環境中,建議您將資料來源遷移至專用網路中。
效能指標
規格 | 離線同步最大並發線程數 |
4c8g | 8 |
8c16g | 16 |
12c24g | 24 |
16c32g | 32 |
24c48g | 48 |
規格 | 單任務建議需要的資源規格 |
MySQL來源即時同步資料庫數1 | 4c8g |
MySQL來源即時同步資料庫數[2-5] | 8c16g |
MySQL來源即時同步資料庫數6以上 | 12c24g |
PolarDB-X來源即時同步 | 12c24g |
kafka來源即時同步 | 4c8g |
其它類型單表層級即時任務 | 4c8g |
計費與相關操作
(1)計費說明
獨享Data Integration資源群組的計費方式為訂用帳戶,您可以根據自身需求選擇合適的規格進行購買,不同規格的計費詳情請參見:獨享Data Integration資源群組計費說明:訂用帳戶。
(2)擴容與縮容
您可以根據業務需求選擇購買獨享資源群組,指定購買資源群組內機器規格、機器數量,購買完成後,您可以對資源群組進行擴容或縮容操作,擴縮容操作步驟和注意事項請參見擴縮容操作。
(3)規格變更(升降配)
如果當前獨享資源群組規格不符合實際需要,您可以針對該資源群組進行規格變更。變更當前資源群組的規格,資源群組內所有機器的規格將統一變更,規格變更操作步驟和注意事項請參見變更規格操作。
(4)續約、停服與釋放資源群組
您可以在獨享資源群組臨近到期時進行續約操作,或等待資源群組到期後停服並自動釋放資源。詳情請參見到期說明及續約操作。
使用獨享Data Integration資源群組
- 購買獨享資源群組。
- 綁定歸屬工作空間。
- 為獨享資源群組綁定專用網路。
- 添加白名單。
- 應用樣本:獨享Data Integration資源群組。
網路連通方案
獨享Data Integration資源群組與其他獨享資源群組類似,本質上為一組阿里雲ECS執行個體,在Data Integration任務運行時,需保障資源群組與資料來源之間的網路是連通的,且不會因為白名單等特殊安全訪問設定阻斷資源群組與資料來源之間的網路連通性。
獨享Data Integration資源群組購買後,需綁定一個VPC網路,後續您可以根據資料來源所在的網路環境情況來選擇網路連通方案。詳情請參見:配置資源群組與網路連通。
- 網路連通方案
資料來源網路環境 網路連通方案 資料來源處於公網環境中 資料來源與獨享資源群組綁定的VPC網路直連即可連通。 資料來源處於VPC網路中,且與獨享資源群組在同一地區 建議獨享資源群組與資料來源綁定同一VPC,綁定後系統自動為您添加一條路由至整個VPC的路由,您綁定VPC的任意一個交換器,獨享資源群組與資料來源的網路都可連通。 資料來源處於VPC網路中,且與獨享資源群組在不同地區 使用Express Connect或VPN等將網路連通資料來源與獨享資源群組綁定的VPC網路,並添加一條路由指向目標資料庫IP,保障兩個網路間網路可達。 資料來源處於IDC網路中 使用Express Connect或VPN等將網路連通資料來源與獨享資源群組綁定的VPC網路,並添加一條路由指向目標資料庫IP,保障兩個網路間網路可達。 資料來源處於傳統網路中 獨享資源群組處於阿里雲VPC網路,如果資料來源處於傳統網路環境中,則資料來源與獨享資源群組間網路無法連通,建議您將資料來源遷移至VPC網路中。 - 白名單配置
如果資料來源設定有白名單限制訪問地址時,您需要將獨享資源群組的訪問地址添加至資料來源的訪問白名單中,避免訪問受限。詳情可參見使用獨享Data Integration資源群組執行任務需要在資料庫添加的IP白名單。
常見問題
DataWorks獨享資源群組的常見問題,詳情請參見獨享資源群組。