資料同步網路連通問題
資源群組配置操作問題
在做離線同步時,我們需要先瞭解哪些DataWorks及其網路能力?
做Data Integration同步前,您需要非常瞭解以下資訊:
需要同步的資料庫所在的VPC,Vswitch,地區(Region)等資訊和DataWorks所在地區(Region)情況。
需要同步的資料庫和DataWorks是否存在跨帳號、跨region等特殊情況。
如果在任務同步時遇到問題,您可以先參考支援的資料來源與讀寫外掛程式,進行自助排查。
如果您在資料來源測試連通性時遇到問題,您可以先根據網路連通方案文檔,選擇對應的解決方案進行排查。
在使用獨享Data Integration資源群組時,需按照以下流程操作:購買資源群組、綁定資料庫網路連通的專用網路、評估是否添加路由、資料庫白名單配置、獨享資源群組綁定所屬工作空間。詳情請參見新增和使用獨享Data Integration資源群組。
同步ECS自建的資料庫的資料時,如何保障資料庫與DataWorks的網路連通?
如果您需要使用獨享Data Integration資源群組通過內網同步ECS自建的資料庫,您需要為獨享Data Integration資源群組做相關的網路設定,詳情可參見新增和使用獨享Data Integration資源群組,連通方案核心點為:
獨享Data Integration資源群組綁定ECS所在VPC,會自動添加一個路由指向VPC網段(該路由不建議人為刪除哦,可能會導致訪問其他資料庫失敗,導致任務報錯。)
在資料庫白名單列表中添加獨享Data Integration資源群組綁定的交換器網段。詳情請參見:添加白名單。
資料庫和DataWorks不在同一個地區(Region)下,進行資料同步時如何保障資料庫與DataWorks的網路連通?
操作前,您可以先根據網路連通方案文檔,選擇對應的網路連通解決方案,連通方案核心點為:
資料庫和DataWorks不在同一個阿里雲帳號下,進行資料同步時如何保障資料庫與DataWorks的網路連通?
操作前,您可以先根據網路連通方案文檔,選擇對應的解決方案進行排查。
訪問VPC環境下的資料庫測試連通性失敗,該如何處理?
資料來源連通性有時成功,有時失敗,如何處理?
請檢查是否使用了公用資源群組,公用資源群組網路不穩定,建議使用獨享Data Integration資源群組,以保證串連的穩定性。
已經購買獨享資源群組,但在資料來源測試連通性時或任務執行時找不到該資源群組怎麼辦?
請確認獨享資源群組已經綁定DataWorks工作空間。詳情請參見:新增和使用獨享Data Integration資源群組。
如何通過日誌查看任務執行在什麼資源群組類型上?
任務運行在預設的資源群組上,日誌中會出現如下資訊:
running in Pipeline[basecommon_ group_xxxxxxxxx]
。任務運行在Data Integration自訂資源群組上,日誌中會出現如下資訊:
running in Pipeline[basecommon_xxxxxxxxx]
。任務運行在獨享Data Integration資源上,日誌中會出現如下資訊:
running in Pipeline[basecommon_S_res_group_xxx]
。
如何切換任務在調度系統中執行所用的資源群組
在生產營運中心切換任務執行使用的調度資源群組和Data Integration任務執行資源組:
在資料開發介面走發布流程修改生產環境任務執行使用的資源群組。
說明以下方式修改資源群組請記得發布,標準模式下提交操作生效範圍是開發環境,發布後操作才會在生產環境周期任務自動調度時生效,發布後您可以在生產營運中心周期任務檢查資源群組修改是否生效。
1. 修改任務調度使用的資源群組:
2. 修改Data Integration任務執行資源組:
如何排查自訂調度資源群組等待gateway?
登入DataWorks控制台,在左側導覽列,單擊資源群組列表,進入自訂資源群組頁簽。 單擊任務使用的調度資源後的伺服器管理,查看伺服器的狀態是否停止,或是否被其它任務佔用。
如果以上排查無法解決問題,請執行下述命令重啟服務。
su - admin /home/admin/alisatasknode/target/alisatasknode/bin/serverctl restart
如何查看資源群組對外IP,以便用於加白允許存取?
如果您使用獨享Data Integration資源群組走公網同步資料,請在資料庫白名單列表中添加獨享Data Integration資源群組本身的EIP地址。擷取獨享Data Integration資源群組EIP地址如下:
在DataWorks控制台的資源群組頁面中的獨享資源群組頁簽下,單擊Data Integration資源群組後的詳情,複製基本資料中的EIP地址至資料庫白名單列表中。
資源群組還有剩餘資源,為什麼會提示任務資源不足無法啟動?
請查看資源群組詳細資料,通常情況下是因為資源群組剩餘資源已經不足被新任務使用,比如此時資源群組通常會有排隊任務。