DataWorks即時同步任務支援為使用的資源配置彈性擴縮容,可根據預設周期對整合任務的資源群組進行擴縮容,節約資源成本。本文將為您介紹資源彈性擴縮容的操作方式。
功能介紹
為提高Data Integration資源使用率,同時發揮彈性雲的特點,DataWorks的Data Integration支援基於Serverless資源群組,按任務粒度動態擴縮容。通過對資源配置進行不同周期和執行時間的調整,確保整合任務在資料峰值期間能夠獲得更大的計算單元(CU)支援,在資料低穀期間,任務以最小的計算單元(CU)運行,避免資源浪費,從而降低成本。
注意事項
在同一執行計畫中,新增資源配置時間段的觸發時間必須與已有資源配置的觸發時間間隔大於半小時,以確保已有資源配置能夠順利執行完成;否則,將無法儲存新的資源配置。
如果是預付費資源群組,資源彈性擴容時超出Data Integration資源配額上限,會觸發擴縮容復原操作,將同步任務資源復原至上一次成功啟動並執行資源大小。
擴縮容操作將導致作業暫時中斷,暫停時間不超過3分鐘。
進入資源調優
進入Data Integration。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的,在下拉框中選擇對應工作空間後單擊進入Data Integration。
在Data Integration頁面,單擊
按鈕進入同步任務頁面,可在工作清單模組查看已建立的Data Integration任務。進入建立/修改執行計畫頁面。
Data Integration任務可通過以下兩種方式建立/修改執行計畫:
資源調優側建立/修改:
在Data Integration任務建立完畢後,即可在資源調優側建立/修改執行計畫。
在工作清單頁面,在需要配置建立/修改執行計畫的整合任務操作列的,進入建立/修改執行計畫頁面。
任務基本資料側建立/修改:
Data Integration任務正在運行中,可在任務基本資料側建立/修改執行計畫。
在工作清單頁面,單擊需要建立/修改執行計畫的整合任務的名稱/ID,進入任務詳情頁面,可在後,單擊資源調優,進入建立/修改執行計畫頁面。
建立/修改執行計畫
在建立/修改執行計畫頁面的計劃列表中,可通過單擊新增計劃來新增執行計畫,也可以通過單擊操作列的停止按鈕停止正在啟動並執行計劃後,再單擊已有計劃操作列的編輯按鈕,修改執行計畫。
單擊添加資源配置按鈕,配置新的任務資源擴縮容的周期、時間以及配置CU的大小,也可以對已有的資源配置單擊編輯按鈕後,修改資源配置。
計劃名稱:建立執行計畫時,需自訂計劃名稱。計劃名稱儲存後無法編輯或修改。
添加資源配置:建立或修改執行計畫時,可對以下配置項進行添加或修改。
配置項
配置說明
周期頻率
根據當前Data Integration任務運行時需佔用的資源量,配置周期頻率,支援配置單次執行、每天、每周以及每月執行
執行日期
當周期頻率配置為單次執行、每周或每月時,可以設定具體執行日期。
執行時間
配置執行計畫在已耗用時間內具體的已耗用時間,可配置不同的時區和時間
配置大小
根據Data Integration任務運行所需的CU數量進行配置。
操作
可對已配置好的配置項進行儲存、取消或刪除。
可對已儲存的任務資源執行計畫進行編輯或刪除。
任務執行計畫內可通過單擊添加資源配置,添加多條資源配置。
任務資源調優配置完成後,單擊確定,儲存任務執行計畫。
應用執行計畫
在完成執行計畫的建立後,使用者可以在計劃列表中點擊操作列的應用按鈕,將執行計畫應用於當前的整合任務。
一條Data Integration任務,僅支援應用一條執行計畫,若存在多個執行計畫的資源配置時間段,可通過在計劃任務內配置多個資源配置。
查看調優執行歷史
進入建立/修改執行計畫頁面後,可在計劃列表頁面查看已建立並執行的計劃,以及在執行歷史模組查看已應用在該Data Integration任務上的資源執行計畫的執行結果、執行時間以及執行資訊。
更多操作
執行計畫建立或修改完成後,在建立/修改執行計畫頁面的計劃列表中,可對已存在的執行計畫進行更多管理操作。
刪除執行計畫:適用於已存在但未應用的執行計畫,若需刪除應用中的執行計畫,需先停止已應用的執行計畫,再進行刪除。
查看執行計畫:適用於已應用的執行計畫,可查看所選執行計畫的資源配置資訊。
停止執行計畫:適用於已應用的執行計畫,可停止所選執行計畫,停止後的執行計畫可以被刪除和編輯。