全部產品
Search
文件中心

DataWorks:新增和使用獨享調度資源群組

更新時間:Jun 19, 2024

您可根據業務情境需求選擇購買合適規格的獨享調度資源群組,用於任務的調度運行。購買獨享資源群組後,在實際使用前您還需進行網路綁定、白名單等配置操作。本文為您介紹從購買至使用獨享調度資源群組的全流程與步驟詳情。

前提條件

購買和使用獨享調度資源群組前:

  • 您需先瞭解獨享調度資源群組的規格效能(不同規格能同時跑多少任務)、計費類型(不同規格怎麼收費)等細節,提前根據業務情境規劃需購買的資源群組規格和購買時間長度,詳情請參見獨享調度資源群組計費說明:訂用帳戶

  • (可選)如果獨享調度資源群組在後續的應用中可能涉及與資料來源或其他網路環境的互動,例如,在調度情境下,需要通過Shell訪問自建資料庫或某個內部地址;或者使用了EMR、CDH這類必須要使用獨享調度資源群組的引擎時,您還需瞭解不同情境下,獨享調度資源群組與資料來源間或引擎間的網路連通方案和白名單注意事項,詳情請參見獨享調度資源群組

    說明

    如果您暫無連通資料庫執行個體的需求,只是為了緩解因公用調度資源群組的資源緊張,導致任務延遲的問題,則無需關注本文涉及的網路相關問題。您可以購買任意可用性區域的獨享調度資源群組,且無需進行網路相關配置操作。

  • 您需要先瞭解獨享調度資源群組適用情境,詳情請參見獨享調度資源群組適用情境

操作流程

從購買至使用獨享調度資源群組,您需進行的主要操作流程如下。

步驟

描述

參考連結

1

獨享資源群組為訂用帳戶服務,您需要單獨購買。

購買資源群組

2

獨享資源群組購買完成後預設不歸屬於任何工作空間,您可規劃該資源群組歸屬的工作空間,並將其與工作空間進行綁定。

綁定歸屬工作空間

3

若獨享資源群組需要訪問VPC網路環境,您需要為其綁定與目標VPC網路環境資料來源或地址網路連通的VPC。

(可選)綁定專用網路

4

若目標環境存在白名單控制,您需要在目標環境添加獨享資源群組的相關IP,保障獨享資源群組可訪問目標環境。

(可選)添加白名單

5

為保障任務配置無誤,建議您先前往資料來源測試資料的連通性。

(可選)測試網路連通

6

獨享資源群組綁定工作空間後,任務不會自動切換使用獨享資源群組執行,您需要參考該步驟手動切換任務執行時使用的資源群組。

切換調度資源群組

7

查看資源群組的使用與排隊情況,與資源群組的使用率及等待資源的執行個體數監控。

查看資源群組使用率與資源群組營運監控

8

若您需要在獨享調度資源群組上執行相關命令,例如安裝PyODPS三方包等,您可參考該步驟使用營運助手功能進行操作。

(可選)使用營運助手在資源群組上執行命令

注意事項

  • 僅主帳號或擁有AliyunBSSOrderAccessAliyunDataWorksFullAccess許可權的RAM使用者可以進行購買資源群組的操作。

  • 僅空間管理員可以進行資源群組歸屬空間綁定與修改的操作。

  • 資源群組介面許可權點詳情請參見資源群組許可權管控策略

  • 建立自訂策略內容並授權操作參考詳情請參見建立自訂策略(可選)

  • 4c8g類型的獨享調度資源群組最多支援綁定2個專用網路,其他規格的獨享調度資源群組最多支援綁定3個專用網路。

購買資源群組

說明

僅擁有AliyunBSSOrderAccessAliyunDataWorksFullAccess許可權的使用者可以進行購買資源群組的操作。

  1. 登入DataWorks控制台

  2. 單擊左側導覽列資源群組列表,在獨享資源群組頁簽下單擊建立調度資源群組,在購買頁面根據業務需要配置相應的參數,配置要點如下。

    參數

    描述

    地區

    選擇後續需要使用此獨享資源群組的地區。

    說明

    獨享調度資源群組不支援跨地區使用。例如,華東2(上海)地區的獨享資源,只能給華東2(上海)地區的工作空間使用。

    獨享資源類型

    選擇為獨享調度資源

    獨享調度資源

    選擇獨享調度資源群組的規格大小,不同規格的費用及最大並發運行執行個體數存在差異。詳情請參見獨享調度資源群組計費說明:訂用帳戶

    資源數量

    資源群組中的機器數量。為保證生產環境的高可用性,資源數量建議選擇為2個及2個以上。

    計費周期

    獨享資源群組為訂用帳戶服務,為保障服務不中斷,建議您勾選到期自動續約。資源群組建立完後,您也可以前往阿里雲續約管理頁面,開啟或取消自動續約服務。詳情請參見通用參考:取消訂用帳戶產品的自動續約

    資源名稱

    設定資源群組的名稱,此名稱需在租戶內唯一,請避免重複,否則會導致在後續進行確定操作時報錯。

    說明

    租戶即主帳號,一個租戶(主帳號)下可以有多個使用者(子帳號)。

  3. 單擊立即購買,根據介面提示進行付款等操作後即可完成購買獨享調度資源群組。

    購買後,DataWorks即開始初始化此獨享資源群組,當資源群組狀態為運行中後,獨享資源群組即已添加至控制台。

    說明

    獨享資源群組的初始化需要約20分鐘,請您耐心等待其狀態更新為運行中

獨享資源群組添加至控制台後,您需要為資源群組綁定工作空間,才可以在任務的配置中選擇使用此獨享資源群組。

綁定歸屬工作空間

說明

僅空間管理員可以進行資源群組歸屬空間綁定與修改的操作。

獨享調度資源群組需要綁定歸屬的工作空間,才可以在對應的工作空間下選擇使用該獨享資源群組。一個獨享調度資源群組可以分配給多個工作空間使用,但不可跨地區使用,例如,上海地區的獨享調度資源群組僅可綁定上海地區的工作空間使用,不可綁定其他地區的工作空間。綁定歸屬工作空間的操作如下。

  1. 登入DataWorks控制台

  2. 資源群組列表獨享資源群組頁簽下,單擊相應資源群組後的修改歸屬工作空間

  3. 修改歸屬工作空間單擊對應工作空間後的綁定,即可將獨享資源群組綁定至此工作空間。

(可選)綁定專用網路

如果獨享調度資源群組在後續的應用中可能涉及與資料來源或其他網路環境的互動,例如,在調度情境下,需要通過Shell訪問自建資料庫或某個內部地址;或者使用了EMR、CDH這類必須要使用獨享調度資源群組的引擎時,您還需進行以下綁定專用網路、白名單的相關配置。

獨享資源群組部署在DataWorks託管的專用網路中,您需要綁定自己的專用網路後,獨享資源群組才可與其他資料來源連通。綁定專用網路的操作如下。

重要

4c8g類型的獨享調度資源群組最多支援綁定2個專用網路,其他規格的獨享調度資源群組最多支援綁定3個專用網路。

  1. 登入DataWorks控制台

  2. 資源群組列表獨享資源群組頁簽下,單擊相應資源群組後的網路設定,進入綁定頁面。

    綁定前,請首先使用阿里雲主帳號進行RAM授權(僅主帳號有許可權),讓DataWorks擁有訪問您的雲資源的許可權。

  3. 綁定Virtual Private Cloud。

    1. 單擊專用網路綁定頁面左上方的新增綁定,在新增專用網路綁定對話方塊中,配置各項參數,不同網路環境下各參數的配置說明如下。

      說明

      阿里雲執行個體、ECS自建等情境均可根據DataWorks工作空間與資料來源是否同阿里雲主帳號來進行網路連通方案選擇與配置。

      參數

      配置說明(資料來源與獨享資源同帳號同地區)

      配置說明(資料來源與獨享資源在不同帳號或不同地區)

      專用網路

      如果您的資料來源與獨享資源群組在同一個阿里雲帳號下,建議配置為資料來源所在的VPC。

      如果不在同一個阿里雲帳號下,則與不在同一地區情境一致。

      如果您的資料來源與獨享資源不在同一地區或不在同一個阿里雲主帳號下,您需要選擇該帳號下已與目標資料來源所在環境網路打通的VPC。例如,資料來源不在阿里雲VPC網路環境中,您可單擊建立專用網路,為獨享資源群組建立一個VPC。建立完成後這裡配置為建立的VPC或選擇已經與目標資料庫網路打通的VPC。

      說明

      DataWorks工作空間和資料來源不在同一地區或不在同一個阿里雲主帳號下,您還需通過VPN網關Express Connect等方式,將獨享資源群組綁定的VPC與資料來源所在VPC網路打通,並手動添加路由指向目標資料庫IP,保障兩個網路間可達。詳情請參見配置資源群組與網路連通

      可用性區域

      選擇資料庫所在可用性區域。

      選擇已經與目標資料庫網路聯通的可用性區域。

      交換器

      專用網路配置為資料來源所在VPC時,建議選擇與資料來源綁定的交換器。

      說明

      綁定資料來源所在VPC後,綁定VPC下任意一個交換器,會自動添加路由至整個VPC網段,實現獨享Data Integration資源群組在該VPC下網路可達。

      選擇已經與目標資料庫網路聯通的交換器,若沒有可用交換器,可單擊建立交換器為獨享資源群組建立交換器。建立完成後這裡配置為建立的交換器。

      安全性群組

      安全性群組指定了獨享資源執行個體需要允許或禁止哪些公網或內網的訪問。您可根據業務需求選擇已有的安全性群組,或單擊建立安全性群組為獨享資源執行個體建立安全性群組。建立安全性群組的詳細參數配置可參見添加安全性群組規則

    2. 單擊確定,完成綁定VPC操作。

    說明

    如果資料來源和獨享資源群組不在同一個地區,或不在同一個阿里雲帳號下,則您需要綁定專用網路後,再添加路由規則指向目標資料庫IP地址。

  4. 可選:配置Host。

    如果您的資料來源無法通過IP直接存取,例如,資料來源通過Host的網域名稱託管,通過Host網域名稱直接被外部存取時,您需要參考以下步驟配置Host,否則在添加資料來源時,使用資料來源的Host網域名稱進行連通性測試時會失敗。

    1. 單擊Host配置,在Host配置頁面左上方單擊新增,在新增網域名稱Host配置對話方塊中配置各項參數。參數說明如下。

      參數

      配置說明

      IP地址

      配置為資料來源的實際IP地址。

      Host網域名稱

      配置為資料來源對外提供訪問服務的Host網域名稱。如果有多個Host網域名稱時,可換行依次添加。

    2. 如果有多個IP地址需要添加,可繼續單擊新增繼續添加。

      說明
      • 新增的Host配置中,IP、網域名稱不能與之前配置的Host中的IP或網域名稱重複。

      • 一個Host配置中,IP與網域名稱為1對多的關係,即IP可以對應多個Host網域名稱,但是同一個Host網域名稱只能指向一個IP。

(可選)添加白名單

獨享調度資源群組和資料來源同可用性區域時,如果同專用網路、交換器的情況下仍未連通網路,則可能是因為資料來源有白名單限制。請添加以下內容至資料來源的白名單列表中。

  • 使用內網連通資料來源與獨享資源群組:添加獨享資源群組綁定專用網路時的交換器網段至資料來源白名單中。

    您需要為獨享資源群組綁定專用網路後,進入DataWorks的資源群組列表 > 獨享資源群組頁面,單擊相應資源群組後的網路設定,查看交換器網段獨享綁定的交換器網段

  • 使用公網連通資料來源與獨享資源群組:添加獨享資源群組的EIP地址至資料來源白名單中。查看獨享資源群組EIP

(可選)測試網路連通

以上網路設定完成之後,您需要通過以下方式測試資源群組與資料來源之間的網路連通性。

  1. 進入資料來源頁面。

    1. 登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的管理中心,在下拉框中選擇對應工作空間後單擊進入管理中心

    2. 進入工作空間管理中心頁面後,單擊左側導覽列的資料來源,進入資料來源頁面。

  2. 單擊相應資料來源操作列的編輯

  3. 在資料來源的編輯頁面,單擊相應資料調度資源群組後的測試連通性,連通狀態為可連通時,表示連通成功。任務調度

    說明
    • 不同類型資料來源的配置介面存在差異,具體請以實際介面為準。

    • 若資料來源分為開發環境和生產環境,則需分別測試不同環境資料來源與資源群組的網路連通性。

    • 更多網路環境下資料來源與獨享資源群組的網路連通詳情,請參見配置資源群組與網路連通

切換調度資源群組

作業環境

支援的切換操作

介面入口

切換生產環境資源群組

批量切換

  1. 營運中心的左側導覽列,單擊周期任務營運 > 周期任務

  2. 勾選需要修改資源群組的任務,單擊底部功能表列的修改調度資源群組,即可批量修改。

批量切換

重要

虛擬節點、商務程序、人工智慧平台PAI等任務類型不支援修改資源群組,請勿選擇。

切換開發環境資源群組

  • 單個任務切換

  • 批量切換

進入DataStudio版面設定:

  • 單個任務切換

    進入目標節點的編輯頁面,在調度配置 > 資源屬性中即可修改。

  • 批量切換

    單擊大量操作表徵圖,勾選需要修改資源群組的任務,單擊底部功能表列的更多 > 修改調度資源群組,即可批量修改。批量修改

切換DataStudio調試資源群組

單個任務切換

進入DataStudio單個節點代碼編輯頁面,點擊工具列中的切換按鈕,切換代碼調試階段任務執行所用的調度資源群組。

查看資源群組使用率與資源群組營運監控

您可在DataWorks管理主控台查看資源群組的使用與排隊情況,並支援通過營運中心的智能監控功能來對資源群組的使用率及等待資源的執行個體數進行監控。查看資源群組使用率,詳情請參見查看獨享資源群組的使用率,資源群組監控,詳情請參見建立自訂規則

(可選)使用營運助手在資源群組上執行命令

在後續基於獨享調度資源群組實際開發過程中存在需要在獨享調度資源群組上執行相關命令的操作時,您可使用營運助手功能進行操作,例如安裝PyODPS三方包等。營運助手的功能使用與入口,詳情請參見營運助手