本文簡要介紹了T+1全量同步一鍵建倉方案。
業務挑戰
大部分阿里雲使用者會將阿里雲關係型資料庫RDS、PolarDB for MySQL、MongoDB或者Elastic Compute Service自建資料庫作為業務系統資料庫,隨著業務資料的增長,業務資料庫儲存的資料也越來越多。但RDS、PolarDB for MySQL、MongoDB或者ECS自建資料庫的計算能力有限,如果直接使用RDS、PolarDB for MySQL、MongoDB或者ECS自建資料庫搭建資料倉儲,會佔用線上業務的計算資源從而會影響業務的運行。如果使用自建開源巨量資料生態體系,例如Hive、Spark等,需要專門的巨量資料工程師來操作和營運,且操作流程也不像使用MySQL一樣簡單,成本極高。
解決方案
T+1全量同步一鍵建倉是指通過DLA控制台配置資料來源(RDS、PolarDB for MySQL、MongoDB資料來源、ECS自建資料庫資料)和目標OSS資料倉儲,系統按照您設定的資料同步時間自動、無縫的幫您把資料來源中的資料同步到目標資料倉儲OSS中,同時在資料倉儲和DLA中建立與資料來源表相同的表結構,基於目標資料倉儲進行資料分析,不影響資料來源端的線上業務運行。
方案優勢
T+1全量同步一鍵建倉方案有以下優勢:
- 一鍵同步資料來源(RDS、PolarDB for MySQL、MongoDB資料來源、ECS自建資料庫資料)中的上千張表資料,無需其他額外的配置工作。
- 提供Serverless的服務,無需維護任何執行個體,零營運成本。
- 資料同步過程中,資料來源中的資料存放區在目標資料倉儲OSS中,搭建資料倉儲過程中不會對資料來源端的業務系統產生任何壓力。
- 通過DLA控制台配置建倉任務,支援自訂設定定時資料投遞。
- 極致的計算能力,充分發揮DLA的計算能力,通過DLA的大記憶體、並發計算完成複雜的多表JOIN以及資料倉儲搭建過程中的其他必要操作。