通常資料開發的總體流程包括資料產生、資料收集與儲存、資料分析與處理、資料提取和資料展現與分享。
說明 上圖中,虛線框內的開發流程均可基於阿里雲巨量資料平台完成。
資料開發的流程如下所示:
- 資料產生:業務系統每天會產生大量結構化的資料,儲存在業務系統所對應的資料庫中,包括MySQL、Oracle和RDS等類型。
- 資料收集與儲存:您需要同步不同業務系統的資料至MaxCompute中,方可通過MaxCompute的海量資料存放區與處理能力分析已有的資料。
DataWorks提供Data Integration服務,可以支援多種資料來源類型,根據預設的調度周期同步業務系統的資料至MaxCompute。
- 資料分析與處理:完成資料的同步後,可以對MaxCompute中的資料進行加工(MaxCompute SQL、MaxCompute MR)、分析與挖掘(資料分析、資料採礦)等處理,從而發現其價值。
- 資料提取:分析與處理後的結果資料,需要同步匯出至業務系統,以供業務人員使用其分析的價值。
- 資料展現與分享:資料提取成功後,可以通過報表、地理資訊系統等多種展現方式,展示與分享巨量資料分析、處理後的成果。