全部產品
Search
文件中心

MaxCompute:資料轉送與遷移概述

更新時間:Jun 18, 2024

MaxCompute提供多種渠道,以便您從業務系統或外部資料源寫入資料到MaxCompute,或者從MaxCompute寫出資料到外部系統或外部資料源。

資料轉送渠道

  • SDK-Tunnel渠道SDK-Tunnel渠道

  • 外表(湖倉一體)外表(湖倉一體)

  • JDBC渠道JDBC渠道

情境資料寫入MaxCompute

離線資料批量寫入(資料通道)

  • 情境特徵。

    • 周期調度任務(天、小時層級調用)。

    • 對資料延遲不敏感(只要在調度周期執行完成即可滿足需求)。

  • 典型情境。

    類型

    典型情境

    資料庫批量同步

    Data Integration-離線資料同步。

    資料上雲搬站

    MMA。

    本地檔案上傳

    odps控制台-Tunnel命令上傳。

    其它自訂上傳

    SDK寫入-批量資料通道(Tunnel)。

離線資料流式寫入(資料通道)

  • 情境特徵。

    • 流式資料寫入(7天24小時不間斷寫入)。

    • 對資料可見延遲容忍度高(可接受偶發小時層級資料可見延遲)。

    • 對請求延遲容忍度高(可接受偶發分鐘層級請求延遲)。

  • 典型情境。

    類型

    典型情境

    資料庫Binlog採集

    • Data Integration-資料庫即時資料同步。

    • DTS。

    日誌採集

    • Data Integration-即時資料同步(SLS)。

    • SLS資料投遞。

    • 日誌採集用戶端LogStash。

    Realtime Compute任務寫入

    Flink寫入MaxCompute結果表。

    流資料同步任務寫入

    • DataHub資料同步MaxCompute。

    • KafKa資料同步MaxCompute。

    自訂寫入

    SDK寫入-流式資料通道(Streaming Tunnel)。

離線資料批量資料寫入(外表-湖倉一體)

  • 情境特徵:主要用於資料聯邦查詢分析,偶爾需要對資料進行搬運。

  • 典型情境。

    類型

    典型情境

    OSS資料與MaxCompute資料上傳

    • LOAD命令。

    • 外部表格,湖倉一體。

    Hologres資料寫入MaxCompute

    MaxCompute直讀Hologres資料。

    OTS/RDS(MySQL)/HBase/Lindorm/Hudi/HDFS/Hive等其它資料來源寫入MaxCompute

    無。

即時資料寫入(資料通道)

  • 可接受資料可見延遲。

    • 對資料可見延遲容忍度高(可接受偶發的小時層級資料可見延遲)。

    • 對請求延遲容忍度低(需要保證穩定的秒級延遲)。

    • 建議即時資料寫入DataHub再同步MaxCompute。

  • 需要資料即時可見。

    • 對資料可見延遲容忍度低(需要保證穩定的分鐘級資料可見延遲)。

    • 對請求延遲容忍度低(需要保證穩定的秒級延遲)。

    • 建議使用Hologres等即時數倉產品。

情境從MaxCompute讀資料

批量資料讀取(資料通道)

  • 情境特徵。

    • 周期調度任務(天、小時層級調用)。

    • 對資料延遲不敏感(只要在調度周期執行完成即可滿足需求)。

  • 典型情境。

    類型

    典型情境

    數倉資料大量匯出

    Data Integration-批量資料匯出。

    Flink讀取MaxCompute表資料

    Flink讀MaxCompute源表。

    下載資料到本地檔案

    odps控制台-Tunnel 命令上傳。

    其它自訂資料下載

    SDK讀資料-批量資料通道(Tunnel)。

批量資料讀取(JDBC)

  • 情境特徵。

    • 資料管理、資料開發、資料治理、資料地圖、資料資產管理、需要查看資料範例資料。

    • 資料分析匯總與可視化展現。

  • 典型情境。

    類型

    典型情境

    數倉管理員對資料進行預覽

    • DataWorks-資料分析、資料管理、資料開發調度(資料通道)。

    • Kettle。

    商業智慧,製作報表,看板

    • Quick BI。

    • Superset。

離線資料批量資料讀取(外部表格-湖倉一體)

  • 情境特徵:主要用於資料聯邦查詢分析,偶爾需要對資料進行搬運。

  • 典型情境。

    類型

    典型情境

    OSS資料與MaxCompute資料下載

    • UNLOAD命令。

    • 外部表格,湖倉一體。

    Hologres讀取MaxCompute資料

    Hologres外部表格儲存直讀。

    OTS/RDS(MySQL)等讀取MaxCompute資料

    無。