當前使用DataWorks的即時資料同步任務同步資料時,僅支援使用獨享Data Integration資源群組。本文為您介紹使用即時資料同步任務同步資料時,需要使用的資源及相關配置。
背景資訊
- 資源準備與規劃:
使用即時資料同步任務同步資料時,當前僅支援使用獨享Data Integration資源群組。因此,在進行資料同步前,您需要購買獨享Data Integration資源群組,並將資源群組添加至DataWorks中,便於後續同步任務使用。
獨享Data Integration資源群組的詳細介紹可參見獨享Data Integration資源群組。
- 網路聯通:
獨享Data Integration資源群組本質上為一組資源執行個體,購買添加完成後的初始狀態下,與其他產品的網路並不聯通,因此您需要為獨享Data Integration資源群組綁定網路環境,為後續與資料來源進行資料同步做好網路聯通的準備。
購買獨享Data Integration資源群組
- 登入DataWorks控制台。
- 選擇相應地區後,在左側導覽列,單擊資源群組列表。
- 在獨享資源群組頁面,單擊建立獨享資源群組。
- 在建立獨享資源群組對話方塊中,單擊訂單號後的購買,跳轉至購買頁面。
- 進入購買頁面後,請根據實際需要,選擇相應的地區、獨享資源類型、資源數量和計費周期,單擊立即購買。說明 此處的獨享資源類型選擇獨享Data Integration資源:
- 獨享資源群組不支援跨地區使用,即華東2(上海)地區的獨享資源,只能給華東2(上海)地區的工作空間使用。
- 獨享資源群組的規格和效能請參見獨享Data Integration資源群組計費說明:訂用帳戶。
- 確認訂單資訊無誤後,勾選《DataWorks獨享資源(訂用帳戶)服務合約》,單擊去支付。
新增獨享Data Integration資源群組
- 在 頁面,單擊建立獨享資源群組。
- 在建立獨享資源群組對話方塊中,配置各項參數。
參數 描述 資源群組類型 資源的使用類型。獨享資源套件括獨享調度資源和獨享Data Integration資源兩種類型,分別適用於通用任務調度和資料同步任務專用。 資源群組名稱 資源的名稱,租戶內唯一,請避免重複。 說明 租戶即主帳號,一個租戶(主帳號)下可以有多個使用者(子帳號)。資源群組備忘 對資源進行簡單描述。 訂單號 此處選擇購買的獨享資源訂單。如果沒有購買,請單擊購買,跳轉至售賣頁進行購買。 - 配置完成後,單擊確定。 說明 獨享資源在20分鐘內完成環境初始化,請耐心等待其狀態更新為運行中。
綁定專用網路
獨享資源部署在DataWorks託管的Virtual Private Cloud中,與其他網路環境不連通。使用獨享資源時,您需進行網路設定,為獨享資源綁定一個可與資料來源連通的VPC,通過此VPC實現與資料來源網路連通。綁定專用網路的操作如下。
4c8g類型的獨享Data Integration資源群組最多支援綁定2個專用網路,其他規格的獨享Data Integration資源群組最多支援綁定3個專用網路。
登入DataWorks控制台。
在資源群組列表的獨享資源群組頁簽下,單擊相應資源群組後的網路設定,進入專用網路綁定頁面。
綁定前,請首先使用阿里雲主帳號進行RAM授權(僅主帳號有許可權),讓DataWorks擁有訪問您的雲資源的許可權。您可以通過雲資源訪問授權頁面進行授權。也可以在主帳號首次進入管控後彈出的介面彈框中進行授權。
綁定Virtual Private Cloud。
單擊專用網路綁定頁面左上方的新增綁定,在新增專用網路綁定對話方塊中,配置各項參數,不同網路環境下各參數的配置說明如下。
說明阿里雲執行個體、ECS自建等情境均可根據DataWorks工作空間與資料來源是否同阿里雲主帳號來進行網路連通方案選擇與配置。
參數
配置說明(資料來源與獨享資源同帳號同地區)
配置說明(資料來源與獨享資源在不同帳號或不同地區)
專用網路
如果您的資料來源與獨享資源群組在同一個阿里雲帳號下,建議配置為資料來源所在的VPC。
如果不在同一個阿里雲帳號下,則與不在同一地區情境一致。
如果您的資料來源與獨享資源不在同一地區或不在同一個阿里雲主帳號下,您需要選擇該帳號下已與目標資料來源所在環境網路打通的VPC。例如,資料來源不在阿里雲VPC網路環境中,您可單擊建立專用網路,為獨享資源群組建立一個VPC。建立完成後這裡配置為建立的VPC或選擇已經與目標資料庫網路打通的VPC。
說明DataWorks工作空間和資料來源不在同一地區或不在同一個阿里雲主帳號下,您還需通過VPN網關或Express Connect等方式,將獨享資源群組綁定的VPC與資料來源所在VPC網路打通,並手動添加路由指向目標資料庫IP,保障兩個網路間可達。詳情請參見配置資源群組與網路連通。
可用性區域
選擇資料庫所在可用性區域。
選擇已經與目標資料庫網路聯通的可用性區域。
交換器
專用網路配置為資料來源所在VPC時,建議選擇與資料來源綁定的交換器。
說明綁定資料來源所在VPC後,綁定VPC下任意一個交換器,會自動添加路由至整個VPC網段,實現獨享Data Integration資源群組在該VPC下網路可達。
選擇已經與目標資料庫網路聯通的交換器,若沒有可用交換器,可單擊建立交換器為獨享資源群組建立交換器。建立完成後這裡配置為建立的交換器。
安全性群組
安全性群組指定了獨享資源執行個體需要允許或禁止哪些公網或內網的訪問。您可根據業務需求選擇已有的安全性群組,或單擊建立安全性群組為獨享資源執行個體建立安全性群組。建立安全性群組的詳細參數配置可參見添加安全性群組規則。
單擊確定,完成綁定VPC操作。
說明如果資料來源和獨享資源群組不在同一個地區,或不在同一個阿里雲帳號下,則您需要綁定專用網路後,再添加路由規則指向目標資料庫IP地址。
可選:配置Host。
如果您的資料來源無法通過IP直接存取,例如,資料來源通過Host的網域名稱託管,通過Host網域名稱直接被外部存取時,您需要參考以下步驟配置Host,否則在添加資料來源時,使用資料來源的Host網域名稱進行連通性測試時會失敗。
單擊Host配置,在Host配置頁面左上方單擊新增,在新增網域名稱Host配置對話方塊中配置各項參數。參數說明如下。
參數
配置說明
IP地址
配置為資料來源的實際IP地址。
Host網域名稱
配置為資料來源對外提供訪問服務的Host網域名稱。如果有多個Host網域名稱時,可換行依次添加。
如果有多個IP地址需要添加,可繼續單擊新增繼續添加。
說明新增的Host配置中,IP、網域名稱不能與之前配置的Host中的IP或網域名稱重複。
一個Host配置中,IP與網域名稱為1對多的關係,即IP可以對應多個Host網域名稱,但是同一個Host網域名稱只能指向一個IP。
後續步驟
- 配置資料來源請參見配置資料來源(輸入為PolarDB)及配置資料來源(輸入為MySQL)。
- 添加資料來源請參見添加資料來源。