本文介紹資料庫傳輸服務DTS提供的ETL功能支援的轉換組件及其配置方法。
背景資訊
ETL支援的轉換組件如下:
表JOIN
欄位計算機
表記錄過濾
使用限制
ETL支援的轉換組件存在如下限制:
表JOIN:僅支援兩個表之間做JOIN操作。
欄位計算機和表記錄過濾:僅支援單個表結構。
前提條件
已完成資料來源資訊的配置。
配置表JOIN
進入ETL任務的列表頁面。
在頂部功能表列中,單擊整合與開發(DTS)。
在左側導覽列,選擇 。
單擊左上方的,在新增資料流對話方塊中,您需在資料流名稱配置ETL任務名稱,選擇開發方式為DAG。
單擊確認。
完成資料來源資訊的配置,配置方法請參見配置源庫資訊。
重要需要配置兩個源庫。
在頁面左側,將表 Join節點拖拽至頁面右側畫布的空白地區。
將滑鼠指標移動至已完成配置的目標資料來源上,單擊圓點拉出連接線,串連目標資料來源和表 Join-1。
單擊畫布地區的表 Join-1,根據頁面資訊配置轉換組件。
在節點配置頁簽,設定以下參數,配置節點資訊。
地區
參數
說明
轉換名稱
請輸入轉換名稱
建議配置具有業務意義的名稱(無唯一性要求),便於後續識別。
Join配置
Join類型符左邊的表
選擇放置在Join類型符左邊的表。
時態Join時間屬性
選擇Join的時間屬性,預設為Join。
基於事件時間Watermark
基於處理時間ProcTime
說明時態Join要求流表均需定義時間屬性,右表要有主鍵;如果右表是維表,要求其主鍵在equal條件中。
選擇Join操作
選擇Join操作方式。
Inner Join:資料為兩張表的交集。
Left Join:左表中的資料不變,右表中的資料為兩張表的交集。
Right Join:左表中的資料為兩張表的交集,右表中的資料不變。
Join條件
+新增條件
單擊+新增條件,從多個資料來源中選擇Join的條件欄位。
說明等號(=)左側為資料來源左表欄位,右側為資料來源右表欄位。
完成Join條件配置後,單擊輸出欄位頁簽。根據實際需要,在列名稱列勾選需要的欄位。
配置欄位計算機
進入ETL任務的列表頁面。
在頂部功能表列中,單擊整合與開發(DTS)。
在左側導覽列,選擇 。
單擊左上方的,在新增資料流對話方塊中,您需在資料流名稱配置ETL任務名稱,選擇開發方式為DAG。
單擊確認。
完成資料來源資訊的配置,配置方法請參見配置源庫資訊。
在頁面左側,將欄位計算機節點拖拽至頁面右側畫布的空白地區。
將滑鼠指標移動至已完成配置的目標資料來源上,單擊圓點拉出連接線,串連目標資料來源和欄位計算機-1。
單擊畫布地區的欄位計算機-1,設定以下參數,配置轉換組件。
在轉換名稱地區,輸入轉換名稱。
說明建議配置具有業務意義的名稱(無唯一性要求),便於後續識別。
在計算機配置地區,單擊+新增欄位。
在計算機配置列表中,單擊新增欄位所在行操作列的計算配置。
在取值配置地區,設定以下參數。
參數
說明
欄位名
DTS會自動產生一個名稱,建議配置具有業務意義的名稱(無唯一性要求),便於後續識別。
選擇ETL資料類型
選擇需要的ETL資料類型。
目標欄位:欄位名,取值配置
選擇以下任意一種方式為目標欄位配置計算方法。
直接輸入需要的計算方法。
單擊欄位輸入、函數集或操作符地區中的選項配置計算方法。
配置表記錄過濾
進入ETL任務的列表頁面。
在頂部功能表列中,單擊整合與開發(DTS)。
在左側導覽列,選擇 。
單擊左上方的,在新增資料流對話方塊中,您需在資料流名稱配置ETL任務名稱,選擇開發方式為DAG。
單擊確認。
完成資料來源資訊的配置,配置方法請參見配置源庫資訊。
在頁面左側,將表記錄過濾節點拖拽至頁面右側畫布的空白地區。
將滑鼠指標移動至已完成配置的目標資料來源上,單擊圓點拉出連接線,串連目標資料來源和表記錄過濾-1。
單擊畫布地區的表記錄過濾-1,根據頁面資訊配置轉換組件。
在轉換名稱右側,輸入轉換名稱。
說明建議配置具有業務意義的名稱(無唯一性要求),便於後續識別。
在where條件地區,您可以選擇以下任意一種方法配置where條件。
直接輸入需要的where條件。
單擊右側欄位輸入或操作符地區中的選項配置where條件。
執行結果
完成配置的轉換組件右側不顯示時,說明配置完成。