全部產品
Search
文件中心

DataWorks:資源群組操作及網路連通

更新時間:Nov 15, 2024

在做離線同步時,我們需要先瞭解哪些DataWorks及其網路能力?

做Data Integration同步前,您需要非常瞭解以下資訊:

  • 需要同步的資料庫所在的VPC,Vswitch,地區(Region)等資訊和DataWorks所在地區(Region)情況。

  • 需要同步的資料庫和DataWorks是否存在跨帳號、跨region等特殊情況。

如果在任務同步時遇到問題,您可以先參考支援的資料來源與讀寫外掛程式,進行自助排查。

如果您在資料來源測試連通性時遇到問題,您可以先根據網路連通方案文檔,選擇對應的解決方案進行排查。

在使用獨享Data Integration資源群組時,需按照以下流程操作:購買資源群組、綁定資料庫網路連通的專用網路、評估是否添加路由、資料庫白名單配置、獨享資源群組綁定所屬工作空間。詳情請參見新增和使用獨享Data Integration資源群組

同步ECS自建的資料庫的資料時,如何保障資料庫與DataWorks的網路連通?

如果您需要使用獨享Data Integration資源群組通過內網同步ECS自建的資料庫,您需要為獨享Data Integration資源群組做相關的網路設定,詳情可參見新增和使用獨享Data Integration資源群組,連通方案核心點為:

  • 獨享Data Integration資源群組綁定ECS所在VPC,會自動添加一個路由指向VPC網段(該路由不建議人為刪除哦,可能會導致訪問其他資料庫失敗,導致任務報錯。)

  • 在資料庫白名單列表中添加獨享Data Integration資源群組綁定的交換器網段。詳情請參見:添加白名單

資料庫和DataWorks不在同一個地區(Region)下,進行資料同步時如何保障資料庫與DataWorks的網路連通?

操作前,您可以先根據網路連通方案文檔,選擇對應的網路連通解決方案,連通方案核心點為:

如果您使用公網同步跨地區(Region)的資料庫,您需要將獨享資源群組本身的EIP添加到資料庫白名單列表中,詳情請參見:添加白名單

說明

公網會產生公網流量費,詳情可參見文檔公網流量計費說明

資料庫和DataWorks不在同一個阿里雲帳號下,進行資料同步時如何保障資料庫與DataWorks的網路連通?

操作前,您可以先根據網路連通方案文檔,選擇對應的解決方案進行排查。

  • 如果您使用公網同步跨帳號的資料庫,您需要將獨享資源群組本身的EIP添加到資料庫白名單列表中,詳情請參見:添加白名單

    說明

    公網會產生公網流量費,詳情可參見文檔公網流量計費說明

  • 如果您需要通過內網同步跨帳號的資料庫,您需要做以下操作:

    1. 兩個阿里雲帳號間的網路需要先使用網路打通工具相關雲產品打通,如VPN、Express Connect等。

    2. 獨享Data Integration資源群組綁定已經和另一個阿里雲帳號下網路打通的VPC。

    3. 綁定VPC後,再自訂路由選擇“本地IDC”,添加目標資料庫IP。

    4. 在資料庫添加獨享資源群組綁定的交換器網段(注意是綁定的交換器網段)詳情請參見:添加白名單

訪問VPC環境下的資料庫測試連通性失敗,該如何處理?

  • 如果您使用VPC串連地址添加的資料來源:

    1. 請確認您已經為獨享Data Integration資源群組綁定好資料庫所在的VPC。

    2. 已經將獨享Data Integration資源群組綁定的交換器網段添加至資料庫白名單。詳情請參見:添加白名單

  • 如果您使用公網地址添加的資料來源,使用獨享Data Integration資源群組測試連通性失敗時,請確認您是否已經將獨享Data Integration資源群組本身的EIP添加至資料庫白名單。詳情請參見:添加白名單

    說明

    公網會產生公網流量費,詳情可參考文檔:公網流量計費說明

資料來源連通性有時成功,有時失敗,如何處理?

請檢查是否使用了公用資源群組,公用資源群組網路不穩定,建議使用獨享Data Integration資源群組,以保證串連的穩定性。

已經購買獨享資源群組,但在資料來源測試連通性時或任務執行時找不到該資源群組怎麼辦?

請確認獨享資源群組已經綁定DataWorks工作空間。詳情請參見:新增和使用獨享Data Integration資源群組

如何通過日誌查看任務執行在什麼資源群組類型上?

  • 任務運行在預設的資源群組上,日誌中會出現如下資訊:running in Pipeline[basecommon_ group_xxxxxxxxx]

  • 任務運行在Data Integration自訂資源群組上,日誌中會出現如下資訊:running in Pipeline[basecommon_xxxxxxxxx]

  • 任務運行在獨享Data Integration資源上,日誌中會出現如下資訊:running in Pipeline[basecommon_S_res_group_xxx]

如何切換任務在調度系統中執行所用的資源群組

  • 在生產營運中心切換任務執行使用的調度資源群組和Data Integration任務執行資源組:切換資源群組

  • 在資料開發介面走發布流程修改生產環境任務執行使用的資源群組。

    說明

    以下方式修改資源群組請記得發布,標準模式下提交操作生效範圍是開發環境,發布後操作才會在生產環境周期任務自動調度時生效,發布後您可以在生產營運中心周期任務檢查資源群組修改是否生效。

    1. 修改任務調度使用的資源群組:資料開發修改調度資源群組

    2. 修改Data Integration任務執行資源組:資料開發修改任務執行資源組

如何排查自訂調度資源群組等待gateway?

登入DataWorks控制台,在左側導覽列,單擊資源群組列表,進入自訂資源群組頁簽。 單擊任務使用的調度資源後的伺服器管理,查看伺服器的狀態是否停止,或是否被其它任務佔用。

如果以上排查無法解決問題,請執行下述命令重啟服務。

su - admin /home/admin/alisatasknode/target/alisatasknode/bin/serverctl restart

如何查看資源群組對外IP,以便用於加白允許存取?

如果您使用獨享Data Integration資源群組走公網同步資料,請在資料庫白名單列表中添加獨享Data Integration資源群組本身的EIP地址。擷取獨享Data Integration資源群組EIP地址如下:

DataWorks控制台資源群組頁面中的獨享資源群組頁簽下,單擊Data Integration資源群組後的詳情,複製基本資料中的EIP地址至資料庫白名單列表中。

資源群組還有剩餘資源,為什麼會提示任務資源不足無法啟動?

請查看資源群組詳細資料,通常情況下是因為資源群組剩餘資源已經不足被新任務使用,比如此時資源群組通常會有排隊任務。