什麼是AnalyticDB
AnalyticDB是阿里雲自研的雲原生即時資料倉庫,支援從OLTP資料庫和記錄檔中即時寫入資料,並秒級完成PB級資料分析。AnalyticDB採用雲原生存算分離的架構,儲存隨用隨付,計算Auto Scaling,同時具備離線處理與線上分析資源隔離的能力,滿足企業對於資料處理效率、成本控制、系統穩定性的要求。相容MySQL、PostgreSQL和Spark生態。
AnalyticDB共有兩個引擎,分別為AnalyticDB for MySQL和AnalyticDB for PostgreSQL。
對比項 | AnalyticDB for MySQL | AnalyticDB for PostgreSQL | |
生態 | 高度相容MySQL 高度相容Spark | 100%相容PostgreSQL 高度相容Oracle | |
架構 | 計算儲存分離架構 | ||
擴充性 | 共同點 | 垂直變更配置 水平擴充 | |
差異 | 支援Multi-Cluster模型實現資源自動彈性 支援MIN-MAX模型實現資源分時彈性和自動彈性 | 支援定時任務實現定時的自動彈性變更配置 支援Serverless形態實現按需自動彈性變更配置 | |
重點功能 | 共同點 | 向量檢索 全文檢索索引 離線批處理 即時物化視圖 | |
差異 | 資料湖 Spark離線處理 查詢效能的智能診斷與調優 | RAG應用 時空分析 | |
應用情境 | 共同點 | 即時數倉 即時日誌分析 商業智慧報表 | |
差異 | 精準營銷 多源聯合分析 巨量資料儲存分析 離線資料加速 其它資料湖或資料倉儲業務遷移(Databricks/Athena/自建Spark/Presto等) | 一站式搭建大模型應用 企業專屬知識庫 GIS 時空巨量資料分析 離線上一體資料分析 其他雲資料倉儲業務遷移(Greenplum、Redshift、Synapse、Snowflake、BigQuery等) | |
客戶行業 | 遊戲、零售、汽車 | 零售、電商、教育 | |
節省成本 | 共同點 | 按實際資料量收取資料存放區費用 冷熱資料分離儲存,降低資料存放區的成本 根據規律的業務波峰波穀,自動定時彈性擴縮資源,既保障流量高峰的資源充足,又避免高峰過後的資源閑置浪費 | |
差異 | 根據業務的實際負載,自動彈性擴縮資源 | 根據實際業務需要,手動啟動或暫停執行個體 |
AnalyticDB for MySQL簡介
資料來源
資料管道APS可以一鍵低成本接入資料庫、日誌、巨量資料中的資料。
儲存層+計算層
支援自研引擎,羲和計算引擎和玄武儲存引擎。新增整合的開源引擎,Spark計算引擎和Hudi儲存引擎。可以藉助開源的能力為您提供更豐富的資料分析情境。同時打通自研和開源引擎之間的互相訪問,提供更一體化的體驗。
儲存層:只需一份全量資料,滿足離線和線上情境。
線上分析情境需要資料盡量在高效能儲存介質上提高效能,離線情境需要資料盡量在低成本儲存介質上降低儲存成本。為滿足不同情境需求,首先將一份全量資料存放區在低成本高吞吐儲存介質中,低成本離線處理情境直接讀寫低成本儲存介質中的資料,可降低資料存放區和資料IO成本,保證高吞吐。其次將即時資料儲存在單獨的儲存IO節點(EIU)上,保證行級的資料即時性,同時對全量資料構建索引,並通過緩衝能力對資料進行加速,滿足百毫秒級高效能線上分析情境。
計算層:羲和計算引擎,智能選擇計算模式。開源Spark計算引擎,滿足多種情境。
羲和計算引擎同時提供MPP和BSP兩種模式。MPP模式是一種流式計算模式,不適合離線處理低成本和高吞吐情境。BSP模式,通過DAG進行任務切分,分批調度,滿足有限資源下巨量資料量計算,支援計算資料落盤。羲和計算引擎提供自動切換能力,即當查詢使用MPP模式無法在一定耗時內完成時,系統會自動切換為BSP模式進行執行。
開源Spark計算引擎可以滿足更複雜的離線處理情境和機器學習情境。Spark計算層和儲存層互相打通,您可以使用計算層資源來處理儲存層資料,在建立和配置Spark資源群組時更容易。
訪問層
訪問層通過統一計費單位、統一中繼資料和許可權、統一開發語言、統一傳輸鏈路,提升開發效率。
更多關於AnalyticDB for MySQL產品系列(湖倉版、數倉版)的介紹,請參見產品系列。
AnalyticDB for PostgreSQL簡介
AnalyticDB for PostgreSQL分為儲存彈性模式和Serverless兩種產品形態。儲存彈性模式是基於ECS+ESSD雲端硬碟的Shared-Nothing架構採用MPP架構,Serverless是基於ECS+本機快取+OSS遠端儲存的儲存計算分離的Shared-Storage架構。
AnalyticDB for PostgreSQL執行個體包含一個協調節點(又稱Master節點)和多個工作節點(又稱Segment節點)。協調節點負責叢集的中繼資料管理、負載平衡等。工作節點負責資料處理,工作節點內部包含Orca最佳化器、自研的Laser執行引擎和Beam儲存引擎,實現查詢的高效能,同時結合IMV即時物化視圖組件,打造即時數倉。工作節點掛載的ESSD雲端硬碟負責熱資料存放區,而冷資料則儲存在OSS中,通過冷熱資料階層式存放區,兼顧查詢效能和儲存成本。工作節點的計算資源和儲存資源,可獨立擴縮容。