MaxCompute提供多種渠道,以便您從業務系統或外部資料源寫入資料到MaxCompute,或者從MaxCompute寫出資料到外部系統或外部資料源。
資料轉送渠道
SDK-Tunnel渠道

外表(湖倉一體)

JDBC渠道

情境資料寫入MaxCompute
離線資料批量寫入(資料通道)
情境特徵。
周期調度任務(天、小時層級調用)。
對資料延遲不敏感(只要在調度周期執行完成即可滿足需求)。
典型情境。
類型
典型情境
資料庫批量同步
Data Integration-離線資料同步。
資料上雲搬站
MMA。
本地檔案上傳
odps控制台-Tunnel命令上傳。
其它自訂上傳
SDK寫入-批量資料通道(Tunnel)。
離線資料流式寫入(資料通道)
情境特徵。
流式資料寫入(7天24小時不間斷寫入)。
對資料可見延遲容忍度高(可接受偶發小時層級資料可見延遲)。
對請求延遲容忍度高(可接受偶發分鐘層級請求延遲)。
典型情境。
類型
典型情境
資料庫Binlog採集
Data Integration-資料庫即時資料同步。
DTS。
日誌採集
Data Integration-即時資料同步(SLS)。
SLS資料投遞。
日誌採集用戶端LogStash。
Realtime Compute任務寫入
Flink寫入MaxCompute結果表。
流資料同步任務寫入
DataHub資料同步MaxCompute。
KafKa資料同步MaxCompute。
自訂寫入
SDK寫入-流式資料通道(Streaming Tunnel)。
離線資料批量資料寫入(外表-湖倉一體)
情境特徵:主要用於資料聯邦查詢分析,偶爾需要對資料進行搬運。
典型情境。
類型
典型情境
OSS資料與MaxCompute資料上傳
LOAD命令。
外部表格,湖倉一體。
Hologres資料寫入MaxCompute
MaxCompute直讀Hologres資料。
OTS/RDS(MySQL)/HBase/Lindorm/Hudi/HDFS/Hive等其它資料來源寫入MaxCompute
無。
即時資料寫入(資料通道)
可接受資料可見延遲。
對資料可見延遲容忍度高(可接受偶發的小時層級資料可見延遲)。
對請求延遲容忍度低(需要保證穩定的秒級延遲)。
建議即時資料寫入DataHub再同步MaxCompute。
需要資料即時可見。
對資料可見延遲容忍度低(需要保證穩定的分鐘級資料可見延遲)。
對請求延遲容忍度低(需要保證穩定的秒級延遲)。
建議使用Hologres等即時數倉產品。
情境從MaxCompute讀資料
批量資料讀取(資料通道)
情境特徵。
周期調度任務(天、小時層級調用)。
對資料延遲不敏感(只要在調度周期執行完成即可滿足需求)。
典型情境。
類型
典型情境
數倉資料大量匯出
Data Integration-批量資料匯出。
Flink讀取MaxCompute表資料
Flink讀MaxCompute源表。
下載資料到本地檔案
odps控制台-Tunnel 命令上傳。
其它自訂資料下載
SDK讀資料-批量資料通道(Tunnel)。
批量資料讀取(JDBC)
情境特徵。
資料管理、資料開發、資料治理、資料地圖、資料資產管理、需要查看資料範例資料。
資料分析匯總與可視化展現。
典型情境。
類型
典型情境
數倉管理員對資料進行預覽
DataWorks-資料分析、資料管理、資料開發調度(資料通道)。
Kettle。
商業智慧,製作報表,看板
Quick BI。
Superset。
離線資料批量資料讀取(外部表格-湖倉一體)
情境特徵:主要用於資料聯邦查詢分析,偶爾需要對資料進行搬運。
典型情境。
類型
典型情境
OSS資料與MaxCompute資料下載
UNLOAD命令。
外部表格,湖倉一體。
Hologres讀取MaxCompute資料
Hologres外部表格儲存直讀。
OTS/RDS(MySQL)等讀取MaxCompute資料
無。