DataWorks：資料開發：開發人員

進入資料開發

登入DataWorks控制台，切換至目標地區後，單擊左側導覽列的資料建模與開發 > 資料開發，在下拉框中選擇對應工作空間後單擊進入資料開發。

操作流程

1. 步驟一：建立商務程序。

   資料開發基於商務程序組織與開發代碼，您需要先建立商務程序，才可進行後續的開發工作。

2. 步驟二：建立表。

   DataWorks支援使用可視化方式建立表，並以目錄結構方式在介面展示。資料開發前，您需先在引擎建立用於接收資料清洗結果的表。

3. 步驟三：建立節點。

   DataWorks基於節點進行任務開發，不同類型的引擎任務在DataWorks上被封裝為不同類型的節點。您可根據業務需要，選擇合適的節點進行引擎任務開發。

4. 步驟四：編輯節點。

   根據節點類型，在節點編輯頁面通過對應資料庫的文法編寫業務代碼。

5. 步驟五：定義節點調度屬性。

   用於定義該節點的調度相關屬性，周期性調度運行節點。

6. 步驟六：調試代碼。

   您可使用DataWorks提供的程式碼片段快捷運行、運行、進階運行三種方式調試代碼，驗證代碼邏輯是否正確。

7. 步驟七：儲存並提交節點。

   節點調試無誤後，您需要儲存並提交節點。

8. 步驟八：煙霧測試 (Smoke Test)。

   為保障生產任務高效運行，避免計算資源浪費。任務發布上線前，您可將任務提交至開發環境進行煙霧測試 (Smoke Test)，保障任務的正確性。

9. 步驟九：發布任務。

   DataWorks僅支援自動調度發布至生產環境的任務，因此在煙霧測試 (Smoke Test)無誤後，您需將任務發布至生產環境調度系統進行周期調度。

步驟一：建立商務程序

DataWorks以商務程序為中心組織資料開發，通過各類型開發節點的容器看板，將相關工具、最佳化及管理操作圍繞看板對象進行組織，使開發管理更加方便智能。您可根據業務需求，將同類型業務統一放置一個商務程序。

1. 進入資料開發頁面。

   登入DataWorks控制台，切換至目標地區後，單擊左側導覽列的資料建模與開發 > 資料開發，在下拉框中選擇對應工作空間後單擊進入資料開發。

2. 建立商務程序。

   您可使用如下兩種方式建立：

   • 方式一：滑鼠移至上方至表徵圖，單擊建立商務程序。

   • 方式二：按右鍵資料開發左側分類樹的商務程序，選擇建立商務程序。

3. 配置商務程序的名稱及描述，單擊建立。

   本文樣本建立名為建立第一個周期調度任務的商務程序。實際開發時，請根據您的業務進行規劃。

   說明

   更多商務程序的使用，詳情請參見建立及管理商務程序。

步驟二：建立表

DataWorks的資料開發節點會對您的來源資料進行清洗加工，因此，您需先在引擎建立用於接收資料清洗結果的表，並定義表結構。

1. 建立表。

   1. 在步驟一建立的商務程序中，展開子目錄，按右鍵MaxCompute > 表，選擇建立表。

   2. 配置表名稱、引擎執行個體等資訊。

   本文樣本分別建立如下兩種表。

   表名稱	描述
   bank_data	用於儲存原始業務資料。
   result_table	用於儲存資料清洗後的結果。

   說明

   • 建表語句請參考建表語句。

   • 更多引擎的可視化建表操作，如建立MaxCompute表、建立EMR表等，詳情請參見建立表。

2. 配置表結構。

   進入表編輯頁面，切換至DDL模式，通過DDL語句配置表結構。產生表結構後，在基本屬性地區輸入表的中文名，並將其提交至開發環境與生產環境，提交成功後可在對應環境的資料來源專案查看該表。查看各環境繫結資料源資訊，詳情請參見建立MaxCompute資料來源。

   說明

   • 表的新增、更新等操作均需要提交至對應環境後，才會在引擎側生效。

   • 您也可以使用可視化方式，根據業務需求及介面引導配置所需表結構。可視化建表，詳情請參見建立並使用MaxCompute表。

   產生bank_data表結構的參考語句如下。

   CREATE TABLE IF NOT EXISTS bank_data
   (
    age             BIGINT COMMENT '年齡',
    job             STRING COMMENT '工作類型',
    marital         STRING COMMENT '婚否',
    education       STRING COMMENT '教育程度',
    default         STRING COMMENT '是否有信用卡',
    housing         STRING COMMENT '房貸',
    loan            STRING COMMENT '貸款',
    contact         STRING COMMENT '聯絡途徑',
    month           STRING COMMENT '月份',
    day_of_week     STRING COMMENT '星期幾',
    duration        STRING COMMENT '期間',
    campaign        BIGINT COMMENT '本次活動聯絡的次數',
    pdays           DOUBLE COMMENT '與上一次聯絡的時間間隔',
    previous        DOUBLE COMMENT '之前與客戶聯絡的次數',
    poutcome        STRING COMMENT '之前行銷活動的結果',
    emp_var_rate    DOUBLE COMMENT '就業變化速率',
    cons_price_idx  DOUBLE COMMENT '消費者物價指數',
    cons_conf_idx   DOUBLE COMMENT '消費者信心指數',
    euribor3m       DOUBLE COMMENT '歐元存款利率',
    nr_employed     DOUBLE COMMENT '職工人數',
    y               BIGINT COMMENT '是否有定期存款'
   );

   產生result_table表結構的參考語句如下。

   CREATE TABLE IF NOT EXISTS result_table
   (
   education STRING COMMENT '教育程度',
   num BIGINT COMMENT '人數'
   )
   PARTITIONED BY
   (
   day STRING,
   hour STRING
   );

3. 上傳資料。

   將原始業務資料存放區至DataWorks的表（本文樣本為bank_data表）中。本文樣本採用直接上傳方式，匯入本地檔案banking.txt至DataWorks，通過上傳資料類比實際資料寫入情況。操作圖示如下。更多上傳資料內容，請參考本機資料上傳至bank_data。

步驟三：建立節點

1. 建立節點。

   您可通過如下兩種方式建立：

   • 方式一：基於分類樹建立。

     1. 在分類樹的商務程序中找到步驟一建立的商務程序。

     2. 按右鍵所需引擎，在建立節點下選擇合適節點。

   • 方式二：基於商務程序面板建立。

     1. 在分類樹的商務程序中找到步驟一建立的商務程序。

     2. 雙擊該商務程序，進入商務程序面板。

     3. 在面板左側導覽列單擊所需節點，或將所需節點拖拽至面板。

2. 配置節點引擎執行個體、名稱等資訊。

   本文樣本建立名為result_table（與步驟二建立的結果表名稱相同）的ODPS SQL節點。

   說明

   使用DataWorks節點進行資料開發時，通過開發節點清洗資料，再將清洗結果存放至結果表。建議您將結果表名稱作為節點的名稱，以便快速定位該節點產出的表資料。

   

步驟四：編輯節點

在商務程序分類樹或商務程序面板中找到步驟三建立的節點，雙擊進入節點編輯頁面。根據節點類型，通過對應資料庫的文法編寫業務代碼。

INSERT OVERWRITE TABLE result_table partition (day='${day}', hour='${hour}')
SELECT education
, COUNT(marital) AS num
FROM bank_data
GROUP BY education;

步驟五：定義節點調度屬性

步驟六：調試代碼

步驟七：儲存並提交節點

1. 單擊工具列的表徵圖，儲存節點配置。

2. 單擊工具列的表徵圖，提交節點至開發環境。

步驟八：煙霧測試 (Smoke Test)

步驟九：發布任務

在標準模式工作空間下，資料開發（DataStudio）介面提交的操作（包括資料開發節點、資源、函數的新增、更新、刪除等）都將進入任務發布介面等待發布。您需進入任務發布 > 建立發布包將相關操作通過發布流程發布至生產環境，發布後才可生效。發布詳情請參見發布任務。