リアルタイムデータ消費の概念、機能、シナリオ、および課金ルール。 - Simple Log Service

Simple Log Serviceは、SDKを使用してデータをリアルタイムで消費できるリアルタイム消費機能を提供します。このトピックでは、コンセプト、特典、シナリオ、請求、消費者など、リアルタイムの消費機能について説明します。

リアルタイム消費

リアルタイム消費とは、SDKを使用してエンティティがリアルタイムでログデータを消費することを指します。エンティティには、サードパーティのソフトウェア、さまざまなプログラミング言語のアプリケーション、クラウドサービス、およびストリームコンピューティングフレームワークが含まれます。この機能は、先入れ先出し (FIFO) の順序に基づいて全データを読み書きします。この機能は、Apache Kafkaと同様に機能します。リアルタイムで使用すると、Simple Log Service Processing Language (SPL) ステートメントを使用してデータを処理できます。その後、Simple Log Serviceが処理結果を返します。詳細については、「SPLの概要」をご参照ください。

説明

リアルタイム消費機能とクエリおよび分析機能の両方を使用して、データを読み取ります。 2つの機能の違いの詳細については、LogHubとLogSearchの違いは何ですか?

シナリオ

リアルタイム消費は、ストリームコンピューティングやリアルタイムコンピューティングなどのシナリオに適しています。リアルタイム消費は時間に依存し、数秒以内にデータ消費を実現します。カスタムデータ保持期間を設定できます。

メリット

リアルタイム消費には次の利点があります。

集中データストレージ
Simple Log Serviceは、異なるマシンから収集されたログデータを集中的に保存します。これにより、SDKを使用して収集したデータをリアルタイムで使用できます。
データの分類と管理
Simple Log Serviceは、データの分類と管理をサポートしています。これにより、さまざまなアプリケーションやサービスがさまざまなプロジェクトでさまざまな種類のデータをリアルタイムで使用できます。

課金

Logstoreがデータ取り込み課金モードを使用している場合、リアルタイム消費に対して課金されません。ただし、データがパブリックSimple Log Serviceエンドポイント経由でプルされた場合、インターネット経由の読み取りトラフィックに対して課金されます。トラフィックは、圧縮後のデータのサイズに基づいて計算されます。詳細については、「取り込みデータ量課金の課金項目」をご参照ください。 Logstoreの課金モードを確認する方法については、「logstoreの管理」をご参照ください。

Logstoreが機能課金モードを使用している場合、読み取りおよび書き込みトラフィックやリクエストなど、複数の請求可能な項目に基づいて、リアルタイムの消費に対して課金されます。詳細については、「機能課金の課金項目」をご参照ください。

消費者

次の表に、リアルタイム消費でサポートされているコンシューマーを示します。

タイプ	コンシューマー	説明
サードパーティソフトウェア	Flume	Flumeを使用すると、Simple Log Serviceによって収集されたデータをリアルタイムで消費できます。詳細については、「Flumeを使用したログデータの消費」をご参照ください。
	Logstash	Logstashを使用すると、Simple Log Serviceによって収集されたデータをリアルタイムで消費できます。詳細については、「Logstashを使用したログデータの消費」をご参照ください。
	QRadar	IBM QRadarなどのセキュリティ情報およびイベント管理 (SIEM) システムは、Simple Log Serviceによって収集されたデータをHTTPSまたはSyslog経由でリアルタイムに消費できます。詳細については、「HTTPS経由でSIEMシステムにログを送信する」および「Syslog経由でSIEMシステムにログを送信する」をご参照ください。
さまざまなプログラミング言語でのアプリケーション	さまざまなプログラミング言語でのアプリケーション	Java、Python、Goなどのプログラミング言語で開発されたアプリケーションは、Simple Log Serviceによって収集されたデータを消費者または消費者グループとして消費できます。詳細については、「Simple log Service SDKを使用してログデータを消費する」および「コンシューマーグループを使用してログを消費する」をご参照ください。
ストリームコンピューティングフレームワーク	Flink	ストリームコンピューティングフレームワークFlinkを使用して、Simple Log Serviceによって収集されたデータをリアルタイムで消費できます。詳細については、「Flinkを使用したデータの消費」をご参照ください。
ストリームコンピューティングフレームワーク	Spark	ストリームコンピューティングフレームワークSparkを使用して、Simple Log Serviceによって収集されたデータをリアルタイムで消費できます。詳細については、「Spark Streamingを使用したログデータの消費」をご参照ください。
クラウドサービス	Function Compute	Function Computeを使用して、Simple Log Serviceによって収集されたデータをリアルタイムで消費できます。詳細については、「Function Computeを使用したログデータの消費」をご参照ください。
クラウドサービス	点滅	Realtime Compute for Apache Flinkを使用して、Simple Log Serviceによって収集されたデータをリアルタイムで消費できます。詳細については、「Realtime Compute For Apache Flinkを使用したログデータの消費」をご参照ください。