全部產品
Search
文件中心

Data Transmission Service:什麼是ETL

更新時間:Aug 31, 2024

Data Transmission Service提供的流式資料ETL(Extract Transform Load)功能是一種高效的即時資料加工工具 。ETL支援通過可視化拖拉拽操作、Flink SQL語句配置任務,並結合DTS的高效流資料複製能力,可以實現流式資料的抽取、資料轉換和加工、資料裝載。在降低開發門檻和業務系統影響的同時提升效率,豐富企業即時資料處理和計算情境,賦能企業數字化轉型。

為什麼選擇ETL

  • ETL支援通過DAG模式和Flink SQL模式配置任務。

    • DAG模式

      • 可視化處理編輯:ETL任務介面當前提供三種組件(輸入/維表、轉換、輸出),簡單拖拽組件即可快速搭建流處理任務。

      • 豐富的開發組件:

        • 輸入/維表組件(即源庫)支援自建MySQL、RDS MySQLPolarDB MySQL版PolarDB-X 1.0(原DRDS)、自建Oracle、自建PostgreSQL、RDS PostgreSQLDb2 for LUWDb2 for iPolarDB PostgreSQL版

        • 轉換組件目前支援表JOIN、90多種Function Compute和欄位過濾。

        • 輸出組件(即目標庫)當前支援自建MySQL、RDS MySQLPolarDB MySQL版雲原生資料倉儲AnalyticDB MySQL版 3.0、自建Oracle、自建PostgreSQL、RDS PostgreSQLDb2 for LUWDb2 for iPolarDB PostgreSQL版

    • Flink SQL模式

      ETL支援使用Flink SQL語言(符合標準SQL語義的開發語言)配置任務。

  • 行業領先的計算時效:通過DTS強大的資料庫流式資料擷取能力,ETL既能保障資料的準確性,同時還具備行業領先的計算實效性。

  • 靈活的任務監控與管理:ETL提供工作清單頁供您進行任務監控和管理,能夠對已經搭建的任務進行啟停、查看詳情等操作。

應用情境

  • 多地區或異構資料即時集中:將多地區或者異構資料即時儲存至同一資料庫中,便於公司應用程式中心化高效管理及決策支援。

  • 即時資料整合:ETL強大的流式資料轉換處理能力大幅提升Data Integration效率,低代碼的開發方式也進一步降低了Data Integration的難度和成本,讓企業專註於資料價值實現。

  • 即時資料倉庫:行業領先的流資料處理能力協助企業快速搭建即時資料倉庫。

  • 離線數倉加速:通過流資料處理先將資料預先處理至數倉,後續再對數倉資料進行深度挖掘。既不影響業務庫運行,也能滿足離線數倉對外服務。

  • 報表提速:構建即時報表體系,不僅大幅提升報表產出效率,還能支援更多即時分析情境,滿足了企業數字化轉型階段對報表產出效率的高要求。

  • Realtime Compute情境:對業務側產生的流資料即時清洗處理,形成特徵值、標籤支援線上業務計算模型(畫像、風控、推薦等)或即時大屏等Realtime Compute情境。

優惠活動

通過DAG和Flink SQL模式配置ETL任務的功能即將下線,僅部分使用者可以免費體驗,未曾使用過該功能的使用者已無法體驗,建議您在同步或遷移執行個體中配置ETL任務。更多資訊,請參見在DTS遷移或同步任務中配置ETL

重要
  • 每個帳號可以免費建立兩個ETL執行個體,且每個執行個體在公測期間均免費使用。

  • 公測結束後,繼續啟動並執行執行個體將開始收費。公測結束時間將會提前以公告、簡訊等方式進行通知。

說明文檔