全部產品
Search
文件中心

DataWorks:新增和使用獨享Data Integration資源群組

更新時間:Jun 19, 2024

您可以使用DataWorks獨享Data Integration資源群組功能,為Data Integration同步任務分配獨立的計算資源,從而提高任務的執行效率和穩定性。購買獨享資源群組後,在實際使用前您還需進行網路綁定、白名單等配置操作。本文為您介紹從購買至使用獨享Data Integration資源群組的全流程與步驟詳情。

前提條件

您需要先瞭解獨享Data Integration資源群組的規格效能(不同規格能同時跑多少任務)、計費類型(不同規格怎麼收費)等細節,提前根據業務情境規劃需購買的資源群組規格和購買時間長度,詳情請參見:獨享Data Integration資源群組計費說明:訂用帳戶

注意事項

獨享Data Integration資源群組支援複雜網路環境下的資料同步。例如,跨雲環境(金融雲、政務雲等)、跨阿里雲帳號、本地IDC資料同步。由於執行資料同步任務流程的要求,需要保證資源群組可以訪問資料來源(來來源資料源和目標資料來源)所在的網路,且不會因白名單限制等原因不能訪問資料來源。因此,您需要在保證網路連通的前提下,再使用Data Integration,如果網路不通,會導致資料同步任務無法執行。獨享Data Integration資源群組與資料來源間的網路連通方案和白名單注意事項,詳情請參見:獨享Data Integration資源群組

說明

如果您暫無連通資料庫執行個體的需求,只是為了緩解因公用整合資源群組的資源緊張,導致任務延遲的問題,則無需關注本文涉及的網路相關問題。您可以購買任意可用性區域的獨享整合資源群組,且無需進行網路相關配置操作。

操作流程

從購買至使用獨享Data Integration資源群組,您需進行的主要操作流程如下。

步驟

描述

參考連結

1

獨享資源群組為訂用帳戶服務,您需要單獨購買。

購買資源群組

2

獨享資源群組購買完成後預設不歸屬於任何工作空間,您可規劃該資源群組歸屬的工作空間,並將其與工作空間進行綁定。

綁定歸屬工作空間

3

若獨享資源群組需要訪問VPC網路環境,您需要為其綁定與目標VPC網路環境資料來源或地址網路連通的VPC。

綁定專用網路

4

若目標環境存在白名單控制,您需要在目標環境添加獨享資源群組的相關IP,保障獨享資源群組可訪問目標環境。

添加白名單

5

為保障任務配置無誤,建議您先前往資料來源測試資料的連通性。

測試網路聯通

6

獨享資源群組綁定工作空間後,任務不會自動切換使用獨享資源群組執行,您需要參考該步驟手動切換任務執行時使用的資源群組。

附錄:切換Data Integration資源群組

7

查看資源群組的使用與排隊情況,與資源群組的使用率及等待資源的執行個體數監控。

查看資源群組使用率與資源群組營運監控

使用限制

  • 僅擁有AliyunBSSOrderAccessAliyunDataWorksFullAccess許可權的使用者可以進行購買資源群組的操作。

  • 僅空間管理員可以進行資源群組歸屬空間綁定與修改的操作。

  • 資源群組介面許可權點詳情請參見資源群組許可權管控策略

  • 建立自訂策略內容並授權操作參考詳情請參見建立自訂策略(可選)

  • 4c8g類型的獨享Data Integration資源群組最多支援綁定2個專用網路,其他規格的獨享Data Integration資源群組最多支援綁定3個專用網路。

購買資源群組

說明

僅擁有AliyunBSSOrderAccessAliyunDataWorksFullAccess許可權的使用者可以進行購買資源群組的操作。

  1. 登入DataWorks控制台

  2. 單擊左側導覽列資源群組列表,在獨享資源群組頁簽下單擊建立整合資源群組,在購買頁面根據業務需要配置相應的參數,配置要點如下。

    參數

    描述

    地區和可用性區域

    選擇後續需要使用此獨享資源群組的地區。

    說明

    獨享Data Integration資源群組不支援跨地區使用。例如,華東2(上海)地區的獨享資源,只能給華東2(上海)地區的工作空間使用。

    獨享資源類型

    選擇為獨享Data Integration資源

    資源名稱

    設定資源群組的名稱,此名稱需在租戶內唯一,請避免重複,否則會導致在後續進行確定操作時報錯。

    說明

    租戶即主帳號,一個租戶(主帳號)下可以有多個使用者(子帳號)。

    資源備忘

    對資源群組進行簡單描述。

    計費周期

    獨享資源群組為訂用帳戶服務,為保障服務不中斷,建議您勾選到期自動續約,資源群組建立完後,您也可以前往阿里雲續約管理頁面,開啟或取消自動續約服務。詳情請參見通用參考:取消訂用帳戶產品的自動續約

    其他配置項,可根據業務規劃自行配置即可。

  3. 單擊立即購買,根據介面提示進行付款等操作後即可完成購買獨享Data Integration資源群組。

    購買後,DataWorks即開始初始化此獨享資源群組,當資源群組狀態為運行中後,獨享資源群組即已添加至控制台。

    說明

    獨享資源群組的初始化需要約20分鐘,請您耐心等待其狀態更新為運行中

獨享資源群組添加至控制台後,您需要為資源群組綁定工作空間,才可以在任務的配置中選擇使用此獨享資源群組。

綁定歸屬工作空間

說明

僅空間管理員可以進行資源群組歸屬空間綁定與修改的操作。

獨享Data Integration資源群組需要綁定歸屬的工作空間,才可以在對應的工作空間下選擇使用該獨享資源群組。一個獨享Data Integration資源群組可以分配給多個工作空間使用,但不可跨地區使用,例如,上海地區的獨享Data Integration資源群組僅可綁定上海地區的工作空間使用,不可綁定其他地區的工作空間。綁定歸屬工作空間的操作如下。

  1. 登入DataWorks控制台

  2. 資源群組列表獨享資源群組頁簽下,單擊相應資源群組後的修改歸屬工作空間

  3. 修改歸屬工作空間單擊對應工作空間後的綁定,即可將獨享資源群組綁定至此工作空間。

綁定專用網路

獨享資源部署在DataWorks託管的Virtual Private Cloud中,與其他網路環境不連通。使用獨享資源時,您需進行網路設定,為獨享資源綁定一個可與資料來源連通的VPC,通過此VPC實現與資料來源網路連通。綁定專用網路的操作如下。

重要

4c8g類型的獨享Data Integration資源群組最多支援綁定2個專用網路,其他規格的獨享Data Integration資源群組最多支援綁定3個專用網路。

  1. 登入DataWorks控制台

  2. 資源群組列表獨享資源群組頁簽下,單擊相應資源群組後的網路設定,進入專用網路綁定頁面。

    綁定前,請首先使用阿里雲主帳號進行RAM授權(僅主帳號有許可權),讓DataWorks擁有訪問您的雲資源的許可權。您可以通過雲資源訪問授權頁面進行授權。也可以在主帳號首次進入管控後彈出的介面彈框中進行授權。

  3. 綁定Virtual Private Cloud。

    1. 單擊專用網路綁定頁面左上方的新增綁定,在新增專用網路綁定對話方塊中,配置各項參數,不同網路環境下各參數的配置說明如下。

      說明

      阿里雲執行個體、ECS自建等情境均可根據DataWorks工作空間與資料來源是否同阿里雲主帳號來進行網路連通方案選擇與配置。

      參數

      配置說明(資料來源與獨享資源同帳號同地區)

      配置說明(資料來源與獨享資源在不同帳號或不同地區)

      專用網路

      如果您的資料來源與獨享資源群組在同一個阿里雲帳號下,建議配置為資料來源所在的VPC。

      如果不在同一個阿里雲帳號下,則與不在同一地區情境一致。

      如果您的資料來源與獨享資源不在同一地區或不在同一個阿里雲主帳號下,您需要選擇該帳號下已與目標資料來源所在環境網路打通的VPC。例如,資料來源不在阿里雲VPC網路環境中,您可單擊建立專用網路,為獨享資源群組建立一個VPC。建立完成後這裡配置為建立的VPC或選擇已經與目標資料庫網路打通的VPC。

      說明

      DataWorks工作空間和資料來源不在同一地區或不在同一個阿里雲主帳號下,您還需通過VPN網關Express Connect等方式,將獨享資源群組綁定的VPC與資料來源所在VPC網路打通,並手動添加路由指向目標資料庫IP,保障兩個網路間可達。詳情請參見配置資源群組與網路連通

      可用性區域

      選擇資料庫所在可用性區域。

      選擇已經與目標資料庫網路聯通的可用性區域。

      交換器

      專用網路配置為資料來源所在VPC時,建議選擇與資料來源綁定的交換器。

      說明

      綁定資料來源所在VPC後,綁定VPC下任意一個交換器,會自動添加路由至整個VPC網段,實現獨享Data Integration資源群組在該VPC下網路可達。

      選擇已經與目標資料庫網路聯通的交換器,若沒有可用交換器,可單擊建立交換器為獨享資源群組建立交換器。建立完成後這裡配置為建立的交換器。

      安全性群組

      安全性群組指定了獨享資源執行個體需要允許或禁止哪些公網或內網的訪問。您可根據業務需求選擇已有的安全性群組,或單擊建立安全性群組為獨享資源執行個體建立安全性群組。建立安全性群組的詳細參數配置可參見添加安全性群組規則

    2. 單擊確定,完成綁定VPC操作。

    說明

    如果資料來源和獨享資源群組不在同一個地區,或不在同一個阿里雲帳號下,則您需要綁定專用網路後,再添加路由規則指向目標資料庫IP地址。

  4. 可選:配置Host。

    如果您的資料來源無法通過IP直接存取,例如,資料來源通過Host的網域名稱託管,通過Host網域名稱直接被外部存取時,您需要參考以下步驟配置Host,否則在添加資料來源時,使用資料來源的Host網域名稱進行連通性測試時會失敗。

    1. 單擊Host配置,在Host配置頁面左上方單擊新增,在新增網域名稱Host配置對話方塊中配置各項參數。參數說明如下。

      參數

      配置說明

      IP地址

      配置為資料來源的實際IP地址。

      Host網域名稱

      配置為資料來源對外提供訪問服務的Host網域名稱。如果有多個Host網域名稱時,可換行依次添加。

    2. 如果有多個IP地址需要添加,可繼續單擊新增繼續添加。

      說明
      • 新增的Host配置中,IP、網域名稱不能與之前配置的Host中的IP或網域名稱重複。

      • 一個Host配置中,IP與網域名稱為1對多的關係,即IP可以對應多個Host網域名稱,但是同一個Host網域名稱只能指向一個IP。

添加白名單

獨享Data Integration資源群組和資料來源同可用性區域時,如果同專用網路、交換器的情況下仍未連通網路,則可能是因為資料來源有白名單限制。請添加以下內容至資料來源的白名單列表中。

  • 使用內網連通資料來源與獨享資源群組:添加獨享資源群組綁定專用網路時的交換器網段至資料來源白名單中。

    您需要為獨享資源群組綁定專用網路後,進入DataWorks的資源群組列表 > 獨享資源群組頁面,單擊相應資源群組後的網路設定,進入專用網路綁定頁面查看交換器網段獨享綁定的交換器網段

  • 使用公網連通資料來源與獨享資源群組:添加獨享資源群組的EIP地址至資料來源白名單中。查看獨享資源群組EIP

測試網路聯通

以上網路設定完成之後,您需要通過以下方式測試資源群組與資料來源之間的網路連通性。

  1. 進入資料來源頁面。

    1. 登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的管理中心,在下拉框中選擇對應工作空間後單擊進入管理中心

    2. 進入工作空間管理中心頁面後,單擊左側導覽列的資料來源,進入資料來源頁面。

  2. 在左側導覽列單擊資料來源 ,進入資料來源管理頁面。

  3. 單擊相應資料來源操作列的編輯

  4. Data Integration頁簽下,單擊相應資源群組名稱後的測試連通性,連通狀態為可連通時,表示連通成功。測試網路聯通

    說明

    如果網路不通,您可以單擊自助排查解決,使用診斷工具進行診斷網路聯通異常。若您需要進一步瞭解各網路環境下資料來源與獨享資源群組的網路聯通,詳情請參見:配置資源群組與網路連通

  5. 單擊完成

查看資源群組使用率與資源群組營運監控

您可在DataWorks管理主控台查看資源群組的使用與排隊情況,並支援通過營運中心的智能監控功能來對資源群組的使用率及等待資源的執行個體數進行監控。查看資源群組使用率,詳情請參見查看獨享資源群組的使用率,資源群組監控,詳情請參見建立自訂規則

附錄:切換Data Integration資源群組

獨享Data Integration資源群組建立並配置完成後,您可以通過如下方式切換任務使用的資源群組。

作業環境

支援的切換操作

介面入口

切換生產環境資源群組

批量切換

進入營運中心 > 周期任務介面設定。

勾選需要修改資源群組的任務,單擊底部功能表列的操作 > 修改Data Integration資源群組,即可批量修改。image.png

切換開發環境資源群組

  • 單個任務切換

  • 批量切換

進入DataStudio版面設定。

  • 單個任務切換

    進入目標節點的編輯頁面,在配置同步網路連接 > 我的資源群組 > 更多選項中即可修改。單個任務切換

  • 批量切換

    單擊大量操作表徵圖,勾選需要修改資源群組的任務,單擊底部功能表列的修改Data Integration資源群組,即可批量修改。大量操作

說明

若未找到修改Data Integration資源群組入口,可先過濾節點類型為離線同步。