Hologres：什麼是即時數倉Hologres

Hologres是阿里巴巴自主研發的一站式即時數倉引擎（Real-Time Data Warehouse），支援海量資料即時寫入、即時更新、即時加工、即時分析，支援標準SQL（相容PostgreSQL協議和文法，支援大部分PostgreSQL函數），支援PB級資料多維分析（OLAP）與即席分析（Ad Hoc），支援高並發低延遲的線上資料服務（Serving），支援多種負載的細粒度隔離與企業級安全能力，與MaxCompute、Flink、DataWorks深度融合，提供企業級離線上一體化全棧數倉解決方案。

Hologres致力於高效能、高可靠、低成本、可擴充的即時數倉引擎研發，為使用者提供海量資料的即時資料倉庫解決方案和亞秒級互動式查詢服務，廣泛應用在即時資料中台建設、精細化分析、自助式分析、營銷畫像、人群圈選、即時風控等情境。

功能特性

• 多情境查詢分析

  Hologres支援行存、列存、行列共存等多種儲存模式和索引類型，同時滿足簡單查詢、複雜查詢、即席查詢等多樣化的分析查詢需求。Hologres使用大規模平行處理架構，分散式處理SQL，提高資源使用率，實現海量資料極速分析。

  • 亞秒級互動式分析

    Hologres採用可擴充的大規模平行處理（MPP）架構全並行計算，通過向量化運算元發揮CPU最佳算力，基於AliORC壓縮儲存，面向SSD儲存最佳化IO吞吐，支援PB級資料亞秒級互動式分析體驗。

  • 線上高效能主鍵點查

    基於行存表的主鍵索引和查詢引擎的短路徑最佳化，Hologres支援每秒數十萬QPS高效能線上點查、首碼掃描，支援高吞吐即時更新，相比開源系統效能提升10倍以上，可用於即時加工鏈路的維表關聯、ID-Mapping等情境。

  • 聯邦查詢，資料湖加速

    Hologres無縫對接MaxCompute，支援外部表格透明加速查詢和中繼資料自動匯入，相比原生MaxCompute訪問加速5-10倍，支援冷熱資料關聯分析，同時支援MaxCompute與Hologres之間百萬行每秒高速同步，支援OSS資料湖格式讀寫，簡化資料入湖入倉。

  • 半結構資料分析

    原生支援半結構化JSON資料類型，支援JSONB列式儲存壓縮，支援豐富的JSON相關表達運算元，使JSON資料存放區和分析效率接近原生列存效率。

• 原生即時數倉

  針對即時數倉資料更新頻繁、資料模型簡單和分析情境敏捷的特性，Hologres支援高並發即時寫入與更新，支援事務隔離與原子性，資料寫入即可查。

  • 高吞吐即時寫入與更新

    Hologres與Flink、Spark等計算架構原生整合，通過內建Connector，支援高通量資料即時寫入與更新，支援源表、結果表、維度資料表多種情境，支援多流合并等複雜操作。

  • 所見即所得 (WYSIWYG)的開發

    資料即時寫入即可查詢，支援DB、Schema、Table三級體系，支援視圖View，原生支援Update/Delete/Upsert，支援關聯、嵌套、視窗等豐富表達能力，原生支援半結構化JSON資料分析，支援MySQL等資料庫資料整庫一鍵入庫，即時同步。

  • 全鏈路事件驅動

    支援表更新事件的Binlog透出能力，通過Flink消費Hologres Binlog，實現數倉層次間全鏈路即時開發，滿足分層治理的前提下，縮短資料加工端到端延遲。

  • 即時物化視圖

    支援定義即時物化視圖，簡化資料加工彙總等開發，資料即時寫入，彙總即時更新，完善支援即時加工情境。

• 企業級營運能力

  支援計算負載、存取權限等細粒度管控要求，提供豐富的監控和警示指標，支援計算資源彈性擴充，支援系統熱升級，滿足企業級安全可靠的營運需求。

  • 資料安全

    支援細粒度存取控制策略，支援BYOK資料存放區加密和資料脫敏，支援資料保護傘、IP白名單，支援RAM、STS及獨立帳號等多種認證體系，通過PCI-DSS安全認證。支援資料備份與恢複。

  • 負載隔離

    多個計算執行個體組成一主多從模式，執行個體間共用一份儲存，計算資源隔離，實現寫入和讀取隔離，查詢和服務隔離，實現故障管理，支援故障節點快速自動回復。無需本地碟，Apsara Distributed File System三副本高可靠冗餘儲存。

  • 自營運能力

    內建查詢歷史、元倉表等營運診斷資訊，使用者可以基於查詢歷史和表的中繼資料，快速定位系統瓶頸和風險點，提升自營運能力。

• 生態與可擴充性

  相容PostgreSQL生態，與巨量資料計算引擎及巨量資料智能研發平台DataWorks無縫打通。無需額外學習，即可上手開發。

  • 相容PostgreSQL生態

    Hologres相容PostgreSQL生態，提供JDBC/ODBC介面，輕鬆對接第三方ETL和BI工具，包括Quick BI、DataV、Tableau、帆軟等。支援GIS空間資料分析，支援Oracle函數擴充包。

  • DataWorks開發整合

    Hologres與DataWorks深度整合，提供圖形化、智能化、一站式的數倉搭建和互動式分析服務工具，支援資料資產、資料血緣、資料即時同步、資料服務等企業級能力。

  • Hadoop生態整合

    支援Hive/Spark Connector，通過Hadoop平台加工的資料可以高吞吐匯入Hologres，並對外提供服務。支援加速讀取外部表格OSS-HDFS格式儲存，支援Hudi、Delta等儲存格式。

  • 達摩院Proxima向量檢索

    Hologres與Platform for AI緊密結合，內建達摩院Proxima向量檢索外掛程式，支援線上即時特徵儲存、即時召回、向量檢索。