全部產品
Search
文件中心

DataWorks:建立商務程序

更新時間:Nov 14, 2024

本文為您介紹如何建立商務程序,在商務程序中建立節點並配置依賴關係。完成建立後,您可以利用資料開發功能,對工作空間的資料進行深入分析和計算。

前提條件

開始本操作前,請確保您已經在工作空間中準備好業務資料表bank_data和其中的資料,以及結果表result_table。詳情請參見建表並上傳資料

背景資訊

DataWorks的資料開發功能支援在商務程序中,通過可視化拖拽來完成節點間的依賴設定。您可以通過操作商務程序的方式,實現對資料的處理和相互依賴。一個工作空間下支援建立多個商務程序,詳情請參見建立商務程序

建立商務程序

  1. 登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資料建模與開發 > 資料開發,在下拉框中選擇對應工作空間後單擊進入資料開發

  2. 資料開發頁面,滑鼠移至上方至建立表徵圖,單擊建立商務程序

  3. 建立商務程序對話方塊中,輸入業務名稱描述

  4. 單擊建立

建立節點並配置依賴關係

在商務程序中建立一個虛擬節點(start)和ODPS SQL節點(insert_data),並配置依賴關係為insert_data依賴於start

重要
  • 虛擬節點屬於控制類型節點,在商務程序運行過程中,不會對資料產生任何影響,僅用於實現對下遊節點的營運控制。

  • 虛擬節點在被其他節點依賴的情況下,如果被營運人員手動設定為運行失敗,則下遊未啟動並執行節點將因此無法被觸發運行。在營運過程中,可以防止上遊的錯誤資料進一步擴散。

  • 商務程序中,虛擬節點的上遊節點通常會被設定為工作空間根節點。工作空間根節點的格式為工作空間名稱_root

  • DataWorks會為節點自動添加一個節點名的輸出,結構為工作空間名稱.節點名稱。如果一個工作空間下有兩個同名的節點,請修改其中一個節點的節點輸出。

建議您在設計商務程序時,預設建立一個虛擬節點作為商務程序的根節點,來控制整個商務程序。設計商務程序的操作如下:

  1. 雙擊商務程序名稱進入開發面板,單擊通用>虛擬節點

    您也可以用滑鼠拖拽虛擬節點至右側的開發面板。

    虛擬節點

  2. 建立節點對話方塊中,選擇相應的路徑,輸入節點名稱start,單擊確認

  3. 以同樣的操作建立ODPS SQL節點,命名為insert_data

  4. 通過拖拽連線,設定start節點為insert_data節點的上遊節點。

    依賴關係

配置虛擬節點的上遊依賴

在商務程序中,虛擬節點通常作為整個商務程序的控制器,是商務程序中所有節點的上遊節點。

通常使用工作空間根節點作為虛擬節點依賴的上遊節點

  1. 雙擊虛擬節點名稱,進入節點的編輯頁面。

  2. 單擊節點編輯頁面右側的調度配置

  3. 調度依賴地區,單擊使用工作空間根節點,設定虛擬節點的上遊節點為工作空間根節點。

    image.png

  4. 儲存並提交節點。

    重要

    您需要設定節點的重跑屬性依賴的上遊節點,才可以提交節點。

    1. 單擊工具列中的儲存表徵圖,儲存節點。

    2. 單擊工具列中的提交表徵圖。

    3. 提交對話方塊中,輸入變更描述

    4. 單擊確認

編輯和運行ODPS SQL節點

本節將在ODPS_SQL節點insert_data中,通過SQL代碼,查詢不同學曆的單身人士貸款買房的數量並儲存結果,以便後續節點繼續分析或展現。

  1. 開啟ODPS SQL節點的編輯頁面,輸入下述代碼。

    具體文法說明請參見SQL概述

    INSERT OVERWRITE TABLE result_table  --插入資料至result_table中。
    SELECT education
        , COUNT(marital) AS num
    FROM bank_data
    WHERE housing = 'yes'
        AND marital = 'single'
    GROUP BY education;
  2. 按右鍵代碼中的bank_data,選中刪除輸入

    建表並上傳資料中建立的bank_data表為非周期性調度產出的表,您可以在select非周期性調度產出表的節點代碼編輯頁,右鍵相應的表名,進行刪除輸入的操作。您也可以在代碼的最上方添加一條規則的注釋,操作完成後自動解析將不會解析該依賴。刪除輸入

    說明

    由於DataWorks的調度依賴主要保障的是調度節點定時更新的表資料,通過節點調度依賴保障下遊取數沒有問題,所以不是DataWorks平台上調度更新的表,平台無法監控。當存在非周期性調度生產資料的表,有節點select這類表資料時,您需要手動刪除通過select自動產生的依賴的上遊節點配置。

  3. 單擊工具列中的儲存表徵圖,防止代碼丟失。

  4. 單擊運行表徵圖。

    運行結束後,即可在頁面下方查看作業記錄和結果。

提交商務程序

  1. 運行並調試ODPS_SQL節點insert_data後,返回商務程序頁面。

  2. 單擊提交表徵圖。

  3. 提交對話方塊中,選擇需要提交的節點,輸入變更描述,選擇是否強制修改,並選中忽略輸入輸出不一致的警示

  4. 單擊提交

    商務程序提交後,即可在商務程序下的節點列表查看節點提交狀態。如果節點名稱左側存在image.png表徵圖,表示該節點未提交;如果不存在image.png表徵圖,表示該節點已提交。

後續步驟

現在,您已經學習了如何建立和提交商務程序,您可以繼續下一個教程。在該教程中,您將學習如何通過建立同步任務,將資料迴流至不同類型的資料來源中。詳情請參見建立同步任務