全部產品
Search
文件中心

DataWorks:網路連通方案

更新時間:Nov 14, 2024

為了保證DataWorks中資料同步、資料調度等任務的順利操作,還需要確保資源群組綁定的VPC網路與資料來源(目標網路環境下的資料庫、資料服務或其他資料)之間的連通性,本文為您提供了不同網路環境下的網路連通解決方案。

背景資訊

在DataWorks資料同步、資料開發、資料調度等任務中,如果涉及訪問的資料來源不在當前DataWorks資源群組綁定的VPC中(例如資料來源在其他VPC或IDC中),需要根據不同網路情況,請選擇合適的網路連通方案,使DataWorks資源群組綁定的VPC與資料來源所在網路連通。

例如,在資料同步流程中,需要資源群組綁定的VPC網路與資料來源端、資料去向端進行網路連通。

image

前提條件

已購買合適規格的資源群組,購買詳情請參見:新增和使用Serverless資源群組

說明
  • 資源群組的更多介紹,請參見DataWorks資源群組概述

  • 本文提供的網路連通方案僅適用於Serverless資源群組、舊版資源群組中的獨享Data Integration資源群組獨享調度資源群組獨享資料服務資源群組

  • 為了加強DataWorks功能間的資源管理和統一使用者體驗,DataWorks推出Serverless資源群組,涵蓋了舊版資源群組(原獨享調度資源群組獨享Data Integration資源群組獨享資料服務資源群組)的核心功能,通過一個資源群組即可完成資料同步、任務調度運行、調用及管理API服務等操作。推薦購買Serverless資源群組,更多資訊,請參見新增和使用Serverless資源群組

注意事項

  • 資源群組與資料來源可連通是後續任務運行成功的必要條件之一。

  • 暫不支援資源群組與傳統網路環境進行資料互動,建議您將傳統網路環境下的資料來源或業務遷移至Virtual Private Cloud環境。

  • 無法保障公網環境下各任務的速度和穩定性,建議通過內網或者雲企業網同步。

  • Serverless資源群組可通過綁定專用網路的方式在內網訪問複雜網路環境下的資料來源或地址。但Serverless資源群組預設不具備公網訪問能力,如果需要通過公網訪問資料來源或網路,請為Serverless資源群組綁定的VPC配置公網NAT Gateway和EIP。具體操作,請參見情境五:資料來源在公網

配置網路連通

步驟一:網路綁定

網路連通方案選擇取決於資料來源與DataWorks工作空間資源群組之間的環境關係,包括以下情境:

網路選擇

資料來源所在環境

資料來源與DataWorks工作空間關係

網路連通通用邏輯

配置樣本

VPC(內網)

在阿里雲

  • 位於阿里雲ECS中

  • 是阿里雲雲產品

同阿里雲主帳號、同地區

資源群組綁定資料來源所在VPC即可。

情境一:資料庫與DataWorks工作空間同阿里雲主帳號、同地區

  • 不在同一個同阿里雲主帳號下

  • 不在同一個地區下

  1. 先通過網路連通工具(雲企業網CENExpress ConnectVPN網關)連通資料來源所在地區與DataWorks工作空間所在地區的網路環境,或資料來源所在帳號與DataWorks空間所在帳號的網路連通。

  2. 為資源群組綁定當前阿里雲主帳號下已經與資料來源連通的專用網路。

    說明

    如果在為資源群組綁定VPC時,選擇的安全性群組為企業安全性群組,您需要在綁定專用網路後,前往安全性群組管理頁面,為該企業安全性群組新增安全性原則,具體如下:

    • 出方向:增加資源群組需要訪問的資料來源的IP。

    • 入方向:增加資源群組綁定的交換器網段。

  3. 為資源群組添加一條自訂路由並指向資料來源的IP地址。詳情可參見通用參考:添加路由

不在阿里雲

  • IDC資料來源或業務

  • 非阿里雲的雲產品

情境四:資料庫在IDC

公網

在公網

  • Serverless資源群組預設不具備公網訪問能力,需要為綁定的VPC配置公網NAT Gateway和EIP後,才支援公網訪問資料來源。

  • 舊版資源群組有公網訪問能力,可直接連通。

情境五:資料來源在公網

步驟二:添加白名單

無論上述哪種情境,如果資料來源存在白名單存取控制,您都需要將資源群組綁定的交換器網段舊版資源群組本身EIPServerless資源群組綁定VPC配置的EIP添加至其白名單中。

  • 通過內網訪問,請將資源群組綁定的交換器網段IP添加到資料來源的白名單列表。

    DataWorks控制台資源群組頁面獨享資源群組頁簽下,單擊目標資源群組後的網路設定,查看交換器網段並將其添加至資料來源的白名單列表中。

  • 通過公網訪問:

    • Serverless資源群組:請將Serverless資源群組綁定VPC配置的EIP添加至資料來源的白名單列表中。

      公網NAT Gateway控制台,找到配置好的SNAT條目,擷取對應交換器綁定的公網IP地址。

      image

    • 舊版資源群組:請添加資源群組本身的EIP至資料來源的白名單列表中。

      DataWorks控制台資源群組頁面的獨享資源群組頁簽下,單擊目標資源群組後的查看資訊,擷取對話方塊中的EIP地址

      說明

      如果您之後對資源群組進行了擴容操作,請檢查此處待添加的EIP是否有變動,為了避免任務執行出錯,請在擴容後第一時間更新資料來源添加的白名單。

步驟三:測試連通性

  • 如果資源群組需要訪問的資料來源為DataWorks支援的資料來源,您可以通過添加DataWorks資料來源的方式來測試是否可以連通。

    1. 進入Data Integration頁面。

      登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資料開發與治理 > Data Integration,在下拉框中選擇對應工作空間後單擊進入Data Integration

    2. 在左側導覽列單擊資料來源,然後在資料來源列表單擊新增資料來源,根據實際情況選擇資料來源並配置相關串連參數。

    3. 在底部資源群組列表中,選擇購買的資源群組,單擊測試連通性image

      說明

      如果測試連通性結果為無法通過,可使用連通性診斷工具自助解決。

  • 如果資源群組需要訪問的資料來源為其他網路中部署的服務等,請根據實際情況,在業務代碼中測試與資料來源的連通性。

    說明

    如果您的業務部署在阿里雲ECS中,還需要配置安全性群組,允許資源群組的交換器網段或VPC綁定的公網IP訪問。

各情境網路連通配置樣本

下文以使用阿里雲RDS資料庫和具備公網的自建資料庫為例,介紹如何通過網路設定,實現DataWorks資源群組與各環境下的資料來源網路連通。

說明

以下樣本僅為資源群組綁定普通安全性群組情境下的說明。

情境一:資料來源與DataWorks工作空間同阿里雲主帳號、同地區

網路連通配置操作

配置操作圖示

  1. 網路綁定:資源群組綁定資料來源所在VPC。

  2. 資料來源白名單配置:將資源群組綁定的交換器網段IP添加到資料來源白名單中。

同帳號同地區

情境二:資料來源與DataWorks工作空間同阿里雲主帳號、不同的地區

網路連通配置操作

配置操作圖示

  1. 配置兩個地區間的網路連通。

    使用雲企業網CENVPN網關連通兩個地區的VPC。

  2. 配置資料來源和資源群組的網路連通。

    1. 為資源群組綁定當前帳號下,已與資料庫網路連通的VPC。

    2. 在控制台添加路由,串連至指向目標資料來源IP位址區段,詳情可參見通用參考:添加路由

  3. 資料來源白名單配置:將資源群組綁定的交換器網段IP添加到資料來源白名單中。

同帳號不同地區

情境三:資料庫與DataWorks工作空間使用不同阿里雲主帳號

網路連通配置操作

配置操作圖示

  1. 配置兩個阿里雲主帳號間的網路連通。

    使用雲企業網CENVPN網關連通兩個阿里雲主帳號的VPC。

  2. 配置資料來源和資源群組的網路連通。

    1. 為資源群組綁定當前帳號下已與資料來源網路連通的VPC。

    2. 在控制台添加路由,串連至目標資料來源IP位址區段,詳情可參見通用參考:添加路由

  3. 資料來源白名單配置:將資源群組綁定的交換器網段IP添加到資料來源白名單中。

不同帳號

情境四:資料來源在IDC

資料來源不在阿里雲環境可參考該情境配置。

  1. 配置兩個環境的網路連通。

    使用Express Connect連通IDC與阿里雲專用網路。

  2. 配置資料來源和資源群組的網路連通。

    1. 為資源群組綁定當前帳號下已與資料庫網路連通的VPC。

    2. 在控制台添加路由,串連至目標資料來源IP位址區段,詳情可參見通用參考:添加路由

  3. 資料來源白名單配置:將資源群組綁定的交換器網段IP添加到資料來源白名單中。

情境五:資料來源在公網

說明

該方案僅適用於Serverless資源群組,舊版資源群組已預設綁定EIP。

網路連通配置操作

配置操作圖示

  1. 為資源群組綁定的Virtual Private Cloud和交換器配置公網NAT Gateway。具體操作,請參見使用公網NAT GatewaySNAT功能訪問互連網

  2. 在資料來源側配置白名單,允許VPC和交換器綁定的公網IP訪問資料庫。

  3. 在工作空間新增資料來源,填寫資料來源的公網串連地址等資訊。測試網路連通性。

投影片5

相關文檔