全部產品
Search
文件中心

DataWorks:新增和使用Serverless資源群組

更新時間:Oct 25, 2024

為了加強DataWorks功能間的資源管理和統一使用者體驗,DataWorks推出Serverless資源群組,涵蓋了原獨享調度資源群組、獨享Data Integration資源群組、獨享資料服務資源群組的核心功能,通過一個資源群組即可完成資料同步、任務調度運行、調用及管理API服務等操作。本文檔將詳細介紹如何新增和使用Serverless資源群組。

前提條件

  • 您需要先瞭解Serverless資源群組的規格效能、計費類型等細節,提前根據業務情境規劃需購買的資源群組規格和購買時間長度,詳情請參見:DataWorks資源群組概述Serverless資源群組計費

  • 僅華北2(北京)、華東2(上海)、華南1(深圳)、華東1(杭州)、中國(香港)、華北3(張家口)、新加坡、馬來西亞(吉隆坡)、印尼(雅加達)、日本(東京)、英國(倫敦)、美國(矽谷)、德國(法蘭克福)、美國(維吉尼亞)地區支援使用Serverless資源群組。

  • 已具備資源群組相關許可權:

  • 若您需要在虛商環境下使用Serverless通用型資源群組,請先確認您所對應的供應商是否已支援售賣該商品。

Serverless資源群組與舊版資源群組對比

對比項

舊版資源群組(獨享資源群組和公用資源群組)

Serverless資源群組

使用方法

按照功能進行區分,分為Data Integration、資料調度、資料服務三種資源群組。

各功能通用,不區分用途。

功能邊界

DataWorks部分能力舊版資源群組不支援。

支援DataWorks的所有功能。

支援混用

不支援,不同類型之間無法混用。

支援,一個資源群組可以被所有功能(Data Integration、資料調度、資料服務)使用。

售賣形式

按照機器規格和台數收費。

最小需要購買一台4c8g,最小擴容步長為一台4c8g。

按照CU進行售賣。

最小需要購買2 CU,最小擴容步長為1 CU。

收費方式

  • 獨享資源群組只有訂用帳戶一種方式。

  • 公用資源群組只有隨用隨付一種方式。

支援訂用帳戶和隨用隨付兩種形式。

資源片段的浪費

機器規格只有有限幾種,因此每種機器上都會存在一定量的資源片段無法利用,造成資源浪費。

按需選擇合適CU數,避免了資源浪費。

擴縮容能力

  • 升級或降級規格。

  • 增加或減少台數。

直接對於資源群組CU數修改即可。

擴縮容時影響

影響已經在啟動並執行任務。

已經啟動並執行任務不受影響。

網路安全性

DataWorks代持公網出入口。多使用者共用,存在資源爭搶。

完全使用客戶自己的公網能力,行為可控。

發展趨勢

計劃未來下線。

成為DataWorks唯一正式的資源群組。

是否支援自訂鏡像

不支援。

支援自訂鏡像管理,能夠定製化構建任務執行所需組件的鏡像,滿足更多任務執行條件。

注意事項

  • 為了確保資源群組可以訪問到資料來源(目標網路環境下的資料庫、資料服務或其他資料),請提前根據資料來源情況,瞭解並完成網路連通。詳情請參見網路連通方案

    重要

    Serverless資源群組可通過綁定專用網路的方式在內網訪問複雜網路環境下的資料來源或地址。但Serverless資源群組預設不具備公網訪問能力,如果需要通過公網訪問資料來源或網路,請為Serverless資源群組綁定的VPC配置公網NAT Gateway和EIP。具體操作,請參見情境五:資料來源在公網

  • 若VPC、V-Switch已綁定至DataWorks Serverless資源群組,請勿隨意變更VPC、V-Switch的環境,該操作可能導致DataWorks上的任務執行失敗。

Serverless資源群組計費

資源群組相關計費,請參見Serverless資源群組計費

步驟一:新增Serverless資源群組

  1. 進入資源群組列表頁面。

    登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資源群組,進入資源群組列表頁面。

  2. 獨享資源群組頁簽下單擊建立資源群組,進入Serverless資源群組購買頁面。

    參數

    說明

    地區和可用性區域

    選擇地區,需要和DataWorks工作空間所在的地區一致。

    付費模式

    • 訂用帳戶:預付費模式。

    • 隨用隨付:後付費模式。

    資源群組規格

    當付費模式為訂用帳戶時,需要設定資源群組規格。

    取值範圍:2 CU ~ 99999999 CU。

    說明
    • 1 CU = 1核CPU + 4GiB記憶體,具體購買建議及運行各任務需要的最低規格要求,請參見效能指標及購買建議

    • 上限99999999 CU即表示購買規格無上限,但可能受庫存影響,如庫存不足時,請關注購買頁提示。

    資源群組名稱

    設定資源群組名稱。

    資源群組備忘

    設定資源群組備忘說明。

    Virtual Private Cloud

    根據資源群組需要連通的專用網路來選擇。

    • 資料來源與Serverless資源群組同帳號同地區:配置資料來源所在的VPC和交換器。

    • 資料來源在其他複雜網路環境下:您還需通過VPN網關Express Connect等方式,將Serverless資源群組綁定的VPC與資料來源所在的VPC網路打通。詳情請參見網路連通方案

    說明
    • 如果下拉式清單沒有選項,需要前往VPC控制台進行建立。關於Virtual Private Cloud的更多資訊,詳情請參見什麼是專用網路

    • 資源群組支援綁定多個VPC,您可以在購買完成後為其綁定其他VPC。

    • 如果資源群組付費模式為訂用帳戶,則此處配置的VPC被應用於資料服務、資料計算和Data Integration後,資料服務無法再新綁定專用網路或更換專用網路,請提前規劃。

    • 若VPC、V-Switch已綁定至DataWorks Serverless資源群組,請勿隨意變更VPC、V-Switch的環境,該操作可能導致DataWorks上的任務執行失敗。

    交換器(V-Switch)

    計費周期

    當付費模式為訂用帳戶時,需要設定計費周期。

    重要

    建議選中到期自動續約,可避免因資源到期停機或釋放而影響業務。勾選後,自動續約周期為每月,在執行個體到期前會以即時價格自動計費。

    服務關聯角色

    關聯服務角色,首次購買時需要建立服務關聯角色(AliyunServiceRoleForDataWorks),後續會預設關聯已建立的角色。

    說明

    服務關聯角色(AliyunServiceRoleForDataWorks),用於訪問Virtual Private Cloud、彈性網卡ENI及安全性群組中的資源,該角色的更多許可權細節,請參見DataWorks服務關聯角色

步驟二:為工作空間綁定資源群組

建立資源群組後,還需要將其與工作空間綁定,綁定完成後,才可以在目標工作空間建立各項任務時選擇並使用Serverless資源群組。

  • 建立工作空間時綁定資源群組

    1. 登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的工作空間,進入工作空間列表頁面。

    2. 單擊建立工作空間,在建立工作空間頁面,修改參數預設資源群組配置的取值為已建立的目標資源群組。

  • 為已有工作空間綁定資源群組

    1. 進入資源群組列表頁面。

      登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資源群組,進入資源群組列表頁面。

    2. 點擊目標資源群組右側操作列的綁定工作空間,找到待綁定的工作空間後,單擊操作列的綁定

步驟三:網路連通

為了確保各項任務的順利進行,您需要完成網路連通的相關配置,使資源群組可以訪問到資料來源。具體請參見網路連通方案

重要

Serverless資源群組可通過綁定專用網路的方式在內網訪問複雜網路環境下的資料來源或地址。但Serverless資源群組預設不具備公網訪問能力,如果需要通過公網訪問資料來源或網路,請為Serverless資源群組綁定的VPC配置公網NAT Gateway和EIP。具體操作,請參見情境五:資料來源在公網

資源群組綁定的VPC支援配置DNS內網解析,從而允許DataWorks通過自訂內網網域名稱訪問資料來源。以CDH叢集為例,您可以為Serverless資源群組綁定的VPC配置內網DNS解析,詳情請參見擷取CDH或CDP叢集資訊並配置網路連通

步驟四:資源群組配置項調整

配額管理

您可以為資料計算、Data Integration和資料服務分別配置資源群組的CU上限CU保障,以確保各項任務能夠順利運行。

說明
  • 隨用隨付資源群組配置CU上限,防止資源使用過多。

  • 訂用帳戶資源群組配置CU保障,設定最低CU保障額度。

  1. 進入資源群組列表頁面。

    登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資源群組,進入資源群組列表頁面。

  2. 調整配額。

    • 在資源群組列表頁調整。

      單擊目標資源群組操作列的image > 配額管理,然後修改不同用途的CU上限CU保障取值。

    • 在資源群組詳情頁調整。

      在資源群組列表頁,單擊目標資源群組名稱,進入資源群組詳情頁面。在右上方單擊配額管理,然後修改不同用途的CU上限CU保障取值。

資料調度並發上限調整

在資料調度情境下,您可以手動設定任務並發上限,控制最大允許多少個任務同時執行。

說明

資料調度並發預設為50,最大可調整至200。

  1. 進入資源群組列表頁面。

    登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資源群組,進入資源群組列表頁面。

  2. 調整資料調度並發上限。

    • 在資源群組列表頁調整。

      單擊目標資源群組操作列的image > 資料調度並發上限,然後修改資料調度並發上限取值。

    • 在資源群組詳情頁調整。

      在資源群組列表頁,單擊目標資源群組名稱,進入資源群組詳情頁面。在右上方單擊資料調度並發上限,然後修改資料調度並發上限取值。

    說明

    此處配置的資料調度並發上限,僅用於控制可同時調度的任務數上限,與任務執行無關,不限制任務執行行為。

下一步:為各項任務配置Serverless資源群組

Serverless資源群組建立並配置完成後,您需要為Data Integration、資料調度、資料服務等任務配置資源群組,以便在各項任務中應用Serverless資源群組。具體操作,請參見通用參考:切換資源群組

更多操作

查看Serverless資源群組使用率

訂用帳戶資源群組使用率較高將阻塞任務執行,您可使用如下方式查看運行在該資源群組上的任務、資源群組當前使用率、記錄點資源的使用方式以及每個任務佔用的資源量。

  1. 進入資源群組列表頁面。

    登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資源群組,進入資源群組列表頁面。

  2. 查看資源群組使用率。

    • 在資源群組列表頁查看。

      查看目標資源群組當前利用列展示的資源群組使用率。

    • 在資源群組詳情頁查看。

      在資源群組列表頁,單擊目標資源群組名稱,進入資源群組詳情頁面。通過資源使用率曲線回看記錄點資源的使用方式,並按照資源群組使用情境查看各情境下正在運行或等待啟動並執行任務詳情。

資源群組擴縮容操作

如果您在訂用帳戶資源群組詳情頁查看資源群組使用率過高,可以手動擴容資源群組規格,從而提升Data Integration、任務調度、資料服務的任務處理效能。如果訂用帳戶資源群組實際使用率較低,可手動縮容資源群組規格,從而節約成本。

  1. 進入資源群組列表頁面。

    登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資源群組,進入資源群組列表頁面。

  2. 單擊目標資源群組操作列的image > 擴容縮容

    說明

    縮容可能導致任務變慢,請評估後謹慎操作。

  3. 在資源群組變更配置頁面,調整資源群組規格後,勾選服務合約,單擊立即購買

相關文檔

  • 資源群組的更多介紹,請參見DataWorks資源群組概述

  • 支援通過營運中心的智能監控功能來對資源群組的使用率及等待資源的執行個體數進行監控。詳情請參見建立自訂規則

  • 在資源群組列表頁,查看執行個體狀態時:

    • 如果資源群組顯示已到期,請單擊目標資源群組操作列的image.png> 續約

    • 如果資源群組的資源使用率達到警戒線,請單擊目標資源群組操作列的image.png> 擴容,詳情請參見資源群組擴縮容操作

  • 如果運行在Serverless資源群組上的任務需要特定的開發環境(例如第三方庫依賴),您可以建立一個整合必要開發包與依賴的自訂鏡像,然後在運行任務時,指定Serverless資源群組作為執行資源,並指定該鏡像作為運行環境。