開源巨量資料平台E-MapReduce(簡稱EMR)的ClickHouse提供了開源OLAP分析引擎ClickHouse的雲上託管服務。EMR ClickHouse完全相容開源版本的產品特性,同時提供叢集快速部署、叢集管理、擴容、縮容和監控警示等雲上產品功能,並且在開源的基礎上最佳化了ClickHouse的讀寫效能,提升了ClickHouse與EMR其他組件快速整合的能力。
特性
特性 | 描述 |
特性 | 描述 |
列式儲存 | 相較於行式儲存,列式儲存在查詢效能上更優。同時列式儲存的資料壓縮比更高,更加節省儲存空間。 |
MPP架構 | 每個節點只訪問本地記憶體和儲存,節點資訊互動和節點本身是平行處理的。查詢效能好,易於擴充。 向量化引擎:為了高效的使用CPU,資料不僅僅按列儲存,同時還按向量(列的一部分)進行處理,這樣可以更加高效地使用CPU。 |
支援SQL | ClickHouse支援一種基於SQL的聲明式查詢語言,它在許多情況下與ANSI SQL標準相同。支援GROUP BY、ORDER BY、FROM、JOIN和IN查詢以及非相互關聯的子查詢。 |
即時的資料更新 | ClickHouse支援在表中定義主鍵。為了使查詢能夠快速在主鍵中進行範圍尋找,資料總是以增量的方式有序的儲存在MergeTree中。 近即時資料更新, Clickhouse支援近即時的資料插入、指標彙總以及索引建立。 |
支援索引 | 按照主鍵對資料進行排序,ClickHouse可以在幾十毫秒以內完成對資料特定值或範圍的尋找。 |
典型應用情境
情境 | 描述 |
情境 | 描述 |
使用者行為分析 | 行為分析系統的表可以製作成一張大的寬表,每個表包含大量的列,可以超過一千列。JOIN的形式相對少一點,可以實現路徑分析、漏鬥分析和路徑轉化等功能。 |
流量和監控 | 可以將系統和應用監控指標通過流式計算引擎Flink或Spark streaming將監控資料清洗處理以後,即時寫入ClickHouse,然後結合Grafana進行可視化展示。 |
使用者畫像 | 可以將各種使用者特徵進行資料加工,製作成包含全部使用者的一張或多張使用者特徵表,提供靈活的使用者Portrait analysis、支撐廣告和圈人等業務需求。 |
即時BI報表 | 根據業務需求,可以即時製作一些及時產出的查詢靈活的BI報表,實現秒級查詢,絕大多數查詢能夠即時反饋。BI報表包括訂單分析、營銷效果分析和大促活動分析。 |
不合適的情境:
沒有完整的事務支援。
缺少高頻率、低延遲的修改或刪除已存在資料的能力。
僅能用於大量刪除或修改資料。