應用情境

OLAP通用情境解決方案

• 業務背景：該方案適用於多種業務情境，包括GMV、訂單、物流、客戶分析、推薦系統、使用者畫像情境。支援離線匯入和即時匯入兩種方式來處理資料。

• 原有解決方案：通過多種OLAP引擎滿足不同的情境。煙囪式搭建各自業務，導致營運難度大，開發人員需要投入大量的時間和精力。

• 統一OLAP引擎：使用StarRocks統一OLAP引擎來滿足各類分析需求。相較於原有解決方案，我們的解決方案營運更加簡單，並且使用MySQL協議，可以對接各種BI工具，從而實現資料的快速分析和處理。

即時資料分析情境解決方案

湖倉分析情境解決方案

• 查詢層：複用了當前StarRocks的CBO和查詢引擎能力，使得查詢計算效能達到了Trino的3~5倍。

• 中繼資料管理：

  • 支援Multi-Catalog管理，無縫對接HMS，同時支援自訂Catalog，便於和雲廠商的DLF對接。

  • 支援通用的Parquet、ORC、CSV等標準格式，實現了延遲物化和小檔案合并讀寫。

  • 支援多種資料湖格式，例如Hudi、Iceberg、DeltaLake和Paimon。

步驟如下：

1. 即時攝入：屏蔽了底層資料來源的細節，支援異構資料來源資料聯合分析，同時支援即時和離線資料的聯合分析。

2. 查詢加速：採用了就近計算策略，例如運算式下推和彙總下推，以及分部署讀取/資料來源針對性最佳化策略。支援向量化解釋ORC、Parquet格式，字典過濾、延遲物化等技術。

3. 測試結果：進行了TPC-H和Hive查詢等測試，與Presto（OR）相比，在同等條件下，效能提升了3~5倍以上，並且僅使用Presto資源的三分之一即可獲得相同的效能體驗。