全部產品
Search
文件中心

Data Transmission Service:配置轉換組件

更新時間:Jul 06, 2024

本文介紹資料庫傳輸服務DTS提供的ETL功能支援的轉換組件及其配置方法。

背景資訊

ETL支援的轉換組件如下:

  • 表JOIN

  • 欄位計算機

  • 表記錄過濾

使用限制

ETL支援的轉換組件存在如下限制:

  • 表JOIN:僅支援兩個表之間做JOIN操作。

  • 欄位計算機表記錄過濾:僅支援單個表結構。

前提條件

已完成資料來源資訊的配置。

配置表JOIN

  1. 進入ETL任務的列表頁面。

    1. 登入Data Management服務

    2. 在頂部功能表列中,單擊整合與開發(DTS)

    3. 在左側導覽列,選擇Data Integration > 流式ETL

  2. 單擊左上方的新增資料流,在新增資料流對話方塊中,您需在資料流名稱配置ETL任務名稱,選擇開發方式DAG

  3. 單擊確認

  4. 完成資料來源資訊的配置,配置方法請參見配置源庫資訊

    重要

    需要配置兩個源庫。

  5. 在頁面左側,將表 Join節點拖拽至頁面右側畫布的空白地區。

  6. 將滑鼠指標移動至已完成配置的目標資料來源上,單擊圓點拉出連接線,串連目標資料來源和表 Join-1

  7. 單擊畫布地區的表 Join-1,根據頁面資訊配置轉換組件。

    1. 節點配置頁簽,設定以下參數,配置節點資訊。

      表JOIN_節點配置

      地區

      參數

      說明

      轉換名稱

      請輸入轉換名稱

      建議配置具有業務意義的名稱(無唯一性要求),便於後續識別。

      Join配置

      Join類型符左邊的表

      選擇放置在Join類型符左邊的表。

      時態Join時間屬性

      選擇Join的時間屬性,預設為Join。

      • 基於事件時間Watermark

      • 基於處理時間ProcTime

      說明

      時態Join要求流表均需定義時間屬性,右表要有主鍵;如果右表是維表,要求其主鍵在equal條件中。

      選擇Join操作

      選擇Join操作方式。

      • Inner Join:資料為兩張表的交集。

      • Left Join:左表中的資料不變,右表中的資料為兩張表的交集。

      • Right Join:左表中的資料為兩張表的交集,右表中的資料不變。

      Join條件

      +新增條件

      單擊+新增條件,從多個資料來源中選擇Join的條件欄位。

      說明

      等號(=)左側為資料來源左表欄位,右側為資料來源右表欄位。

    2. 完成Join條件配置後,單擊輸出欄位頁簽。根據實際需要,在列名稱列勾選需要的欄位。

配置欄位計算機

  1. 進入ETL任務的列表頁面。

    1. 登入Data Management服務

    2. 在頂部功能表列中,單擊整合與開發(DTS)

    3. 在左側導覽列,選擇Data Integration > 流式ETL

  2. 單擊左上方的新增資料流,在新增資料流對話方塊中,您需在資料流名稱配置ETL任務名稱,選擇開發方式DAG

  3. 單擊確認

  4. 完成資料來源資訊的配置,配置方法請參見配置源庫資訊

  5. 在頁面左側,將欄位計算機節點拖拽至頁面右側畫布的空白地區。

  6. 將滑鼠指標移動至已完成配置的目標資料來源上,單擊圓點拉出連接線,串連目標資料來源和欄位計算機-1

  7. 單擊畫布地區的欄位計算機-1,設定以下參數,配置轉換組件。

    欄位計算機_節點配置

    1. 轉換名稱地區,輸入轉換名稱。

      說明

      建議配置具有業務意義的名稱(無唯一性要求),便於後續識別。

    2. 計算機配置地區,單擊+新增欄位

    3. 在計算機配置列表中,單擊新增欄位所在行操作列的計算配置

    4. 取值配置地區,設定以下參數。

      參數

      說明

      欄位名

      DTS會自動產生一個名稱,建議配置具有業務意義的名稱(無唯一性要求),便於後續識別。

      選擇ETL資料類型

      選擇需要的ETL資料類型。

      目標欄位:欄位名,取值配置

      選擇以下任意一種方式為目標欄位配置計算方法。

      • 直接輸入需要的計算方法。

      • 單擊欄位輸入函數集操作符地區中的選項配置計算方法。

配置表記錄過濾

  1. 進入ETL任務的列表頁面。

    1. 登入Data Management服務

    2. 在頂部功能表列中,單擊整合與開發(DTS)

    3. 在左側導覽列,選擇Data Integration > 流式ETL

  2. 單擊左上方的新增資料流,在新增資料流對話方塊中,您需在資料流名稱配置ETL任務名稱,選擇開發方式DAG

  3. 單擊確認

  4. 完成資料來源資訊的配置,配置方法請參見配置源庫資訊

  5. 在頁面左側,將表記錄過濾節點拖拽至頁面右側畫布的空白地區。

  6. 將滑鼠指標移動至已完成配置的目標資料來源上,單擊圓點拉出連接線,串連目標資料來源和表記錄過濾-1

  7. 單擊畫布地區的表記錄過濾-1,根據頁面資訊配置轉換組件。

    表記錄過濾_節點配置

    1. 轉換名稱右側,輸入轉換名稱。

      說明

      建議配置具有業務意義的名稱(無唯一性要求),便於後續識別。

    2. where條件地區,您可以選擇以下任意一種方法配置where條件。

      • 直接輸入需要的where條件。

      • 單擊右側欄位輸入操作符地區中的選項配置where條件。

執行結果

完成配置的轉換組件右側不顯示配置源庫資訊_驚嘆號時,說明配置完成。

後續步驟

配置目標庫資訊