このトピックでは、Hologres の概要とその特徴について説明します。
Hologres は、Alibaba が開発したワンストップのリアルタイムデータウェアハウスエンジンです。膨大なデータのリアルタイム書き込み、更新、変換、分析をサポートします。Hologres は、標準 SQL (PostgreSQL プロトコルおよび構文と互換性があり、ほとんどの PostgreSQL 関数をサポート) をサポートしています。また、ペタバイト規模のデータの多次元分析 (OLAP) やアドホック分析、高コンカレンシーかつ低レイテンシーのオンラインデータサービス (サービング)、エンタープライズレベルのセキュリティを備えた詳細なワークロード分離もサポートしています。Hologres は、MaxCompute、Flink、DataWorks と密に統合されており、オフラインデータとオンラインデータの両方に対応するエンタープライズレベルのオールインワンデータウェアハウスソリューションを提供します。
Hologres は、ハイパフォーマンスで信頼性が高く、コスト効率に優れ、スケーラブルなリアルタイムデータウェアハウスエンジンです。膨大なデータに対してサブ秒の対話型クエリサービスを提供し、リアルタイムデータウェアハウスソリューションをサポートします。Hologres は、リアルタイムデータ中台の構築、詳細な分析、セルフサービス分析、マーケティングプロファイル、オーディエンスセグメンテーション、リアルタイムリスク管理などのシナリオで広く使用されています。
特徴
複数シナリオに対応するクエリと分析
Hologres は、行指向、列指向、および行列表指向のハイブリッドストレージなど、複数のストレージモードとインデックスタイプをサポートしています。これにより、単純なクエリ、複雑なクエリ、アドホッククエリなど、多様な分析クエリのニーズに対応します。Hologres は、超並列処理 (MPP) アーキテクチャを使用して SQL クエリを分散処理し、リソース使用率を向上させ、膨大なデータの高速分析を可能にします。
サブ秒の対話型分析
Hologres は、スケーラブルな超並列処理 (MPP) アーキテクチャを使用して完全な並列計算を実現します。ベクトル化オペレーターを使用して CPU の計算能力を最大限に引き出します。AliORC ストレージ圧縮と SSD 向けの最適化された I/O スループットに基づき、Hologres はペタバイト規模のデータに対してサブ秒の対話型分析エクスペリエンスを提供します。
プライマリキーでの高性能オンライン点クエリ
行指向テーブルの主キーインデックスとクエリエンジンのショートパス最適化を使用することで、Hologres は数十万 QPS の高性能オンライン点クエリとプレフィックススキャンをサポートします。また、高スループットのリアルタイム更新もサポートし、オープンソースシステムの 10 倍以上のパフォーマンスを実現します。これは、リアルタイムデータ変換パイプラインにおけるディメンションテーブルの結合や ID マッピングなどのシナリオで使用できます。
フェデレーションクエリとデータレイクの高速化
Hologres は MaxCompute とシームレスに統合されており、外部テーブルを使用して MaxCompute データのクエリを高速化し、メタデータの自動インポートをサポートします。MaxCompute データへの直接クエリと比較して、高速化されたクエリは 5〜10 倍高速になります。Hologres は、ホットデータとコールドデータの関連分析をサポートします。Hologres は、MaxCompute テーブルから Hologres テーブルに毎秒数百万行を同期し、Object Storage Service (OSS) からのデータの読み取りと書き込みを可能にします。これにより、データレイクやデータウェアハウスへのデータインポートが簡素化されます。
半構造化データ分析
Hologres は、半構造化 JSON データ型をネイティブにサポートしています。JSONB の列指向ストレージ圧縮をサポートし、豊富な JSON オペレーターを提供します。これにより、JSON データのストレージと分析効率は、ネイティブな列指向ストレージとほぼ同等になります。
ネイティブなリアルタイムデータウェアハウス
リアルタイムデータウェアハウスの特性 (頻繁なデータ更新、単純なデータモデル、アジャイルな分析シナリオなど) に対応するため、Hologres は高コンカレンシーのリアルタイム書き込みと更新をサポートします。また、トランザクション分離と原子性もサポートしており、データが書き込まれるとすぐにクエリ可能になります。
高スループットのリアルタイム書き込みと更新
Hologres は、Flink や Spark などのコンピューティングフレームワークとネイティブに統合されています。組み込みのコネクタを使用して、高スループットのリアルタイムデータ書き込みと更新をサポートします。ソーステーブル、シンクテーブル、ディメンションテーブルを含むさまざまなシナリオや、マルチストリームマージなどの複雑な操作をサポートします。
WYSIWYG (What You See Is What You Get) 開発
データは書き込まれるとすぐにクエリ可能です。Hologres は、DB、スキーマ、テーブルの 3 階層システムをサポートし、ビューもサポートします。Update、Delete、Upsert 操作をネイティブにサポートし、結合、ネスト、ウィンドウ関数などの豊富な式機能を提供します。また、半構造化 JSON データ分析や、MySQL などのソースからのデータベース全体のワンクリックリアルタイム同期もネイティブにサポートします。
エンドツーエンドのイベント駆動型アーキテクチャ
Hologres は、バイナリログ (Binlog) を介してテーブル更新イベントを公開することをサポートします。Flink で Hologres の Binlog を消費することにより、データウェアハウスレイヤー全体でエンドツーエンドのリアルタイム開発を実現できます。これにより、階層的なデータ管理要件を満たしながら、データ変換のエンドツーエンドのレイテンシーを短縮します。
リアルタイムマテリアライズドビュー
Hologres は、リアルタイムマテリアライズドビューの定義をサポートしており、データ変換や集約などのタスクの開発を簡素化します。データはリアルタイムで書き込まれ、集約はリアルタイムで更新されるため、リアルタイム変換シナリオを包括的にサポートします。
エンタープライズレベルの O&M 機能
Hologres は、コンピューティングワークロードとアクセス権限の詳細な制御をサポートします。豊富な監視およびアラートメトリックを提供し、スケーラブルなコンピューティングリソースをサポートし、ホットアップグレードを可能にして、O&M に対するエンタープライズレベルのセキュリティと信頼性の要件を満たします。
データセキュリティ
Hologres は、詳細なアクセスコントロールポリシー、Bring-Your-Own-Key (BYOK) データストレージ暗号化、データマスキングをサポートします。また、データセキュリティガード、IP アドレスホワイトリスト、Resource Access Management (RAM)、Security Token Service (STS)、独立アカウントなどの複数の認証システムもサポートします。Hologres は PCI-DSS 認証済みです。データのバックアップと復元もサポートします。
ワークロードの分離
複数のコンピュートインスタンスがプライマリ/レプリカアーキテクチャを形成します。インスタンスはストレージの単一コピーを共有しますが、コンピューティングリソースは分離されています。これにより、書き込みと読み取り、クエリとサービスの間の分離が実現されます。また、障害管理を可能にし、障害ノードの迅速な自動回復をサポートします。Pangu が信頼性の高い 3 重化冗長ストレージを提供するため、ローカルディスクは不要です。
セルフサービス O&M 機能
Hologres には、クエリ履歴やメタデータウェアハウスのテーブルなど、O&M 診断情報が組み込まれています。このクエリ履歴とテーブルメタデータを使用して、システムのボトルネックや潜在的なリスクを迅速に特定し、セルフサービス O&M 機能を強化できます。
エコシステムとスケーラビリティ
Hologres は PostgreSQL エコシステムと互換性があり、ビッグデータコンピュートエンジンやインテリジェントなビッグデータ開発プラットフォームである DataWorks とシームレスに統合されます。追加のスキルを習得することなく開発を開始できます。
PostgreSQL エコシステムとの互換性
Hologres は PostgreSQL エコシステムと互換性があります。JDBC/ODBC インターフェイスを提供しており、Quick BI、DataV、Tableau、FanRuan などのサードパーティの ETL ツールや BI ツールと簡単に統合できます。また、GIS 空間データ分析と Oracle 関数拡張パッケージもサポートしています。
DataWorks 開発統合
Hologres は DataWorks と密に統合されています。グラフィカルでインテリジェントなワンストップツールを提供し、データウェアハウスの構築と対話型分析を実行します。データ資産、データリネージ、リアルタイムデータ同期、データサービスなどのエンタープライズレベルの機能をサポートします。
Hadoop エコシステム統合
Hologres は Hive/Spark コネクタをサポートしています。Hadoop プラットフォームで処理されたデータは、高スループットで Hologres にインポートし、外部に提供できます。Hologres は、OSS-HDFS フォーマットで保存された外部テーブルからの高速読み取りをサポートし、Hudi や Delta などのストレージフォーマットをサポートします。
DAMO Academy Proxima によるベクトル検索
Hologres は Platform for AI と密に統合されています。ベクトル検索プラグインである DAMO Academy Proxima が組み込まれており、オンラインリアルタイム特徴量ストレージ、リアルタイム検索、ベクトル検索をサポートします。