Alibaba Cloudの重要なインフラストラクチャとして、Simple Log ServiceはAlibaba Cloudのすべてのクラスターでのログデータの収集と配布をサポートします。 Tablestore、MaxCompute、CNZZなどの多くのアプリケーションは、Simple Log ServiceのLogtailを使用してログデータを収集し、API操作を呼び出してログデータを消費し、そのデータを下流のリアルタイム統計システムまたはオフラインシステムにインポートして、さらなる分析と統計を行います。 インフラストラクチャとして、Simple Log Serviceには次の機能があります。
信頼性: Alibaba Groupの内部ユーザーにサービスを提供し、長年にわたってDouble 11 Global Shopping Festivalでチャレンジに取り組んだ後、Simple Log Serviceはデータの信頼性と整合性を確保する能力を証明しました。
スケーラビリティ: Simple Log Serviceは、シャードを追加して、データトラフィックが増加したときに処理能力を迅速かつ動的に拡張できます。
利便性: Simple Log Serviceはワンクリック管理をサポートしています。 たとえば、数回のクリックで数万台のマシンからログを収集できます。
Simple Log Serviceは、ログの収集、ログ形式の統合、およびダウンストリームシステムがデータを消費するためのAPI操作を提供します。 ダウンストリームシステムを複数のシステムに接続して、さまざまな方法でデータを利用することができます。 たとえば、Spark や Storm を使用してリアルタイムでデータを計算したり、ElasticSearch を使用してデータをクエリすることができます。 このようにして、データは一度に収集され、複数回消費されます。 多くのデータ消費シナリオの中で、モニタリングは最も一般的なものです。 このトピックでは、Simple Log Serviceに基づいてAlibaba Cloudが提供するモニタリングシステムについて説明します。
Simple Log Serviceは、すべてのクラスターからモニタリングデータをログとして収集します。 これは異種システムからのマルチクラスター管理とログ収集の問題を解決します。 モニタリングデータは同じ形式のログに変換され、Simple Log Serviceに送信されます。
Simple Log Serviceは、モニタリングシステムに次の機能を提供します。
ユニファイドマシン管理: 各サーバーにLogtailがインストールされると、その後の操作はすべてSimple Log Serviceで実行されます。
統合構成管理: Simple log Serviceで収集する必要があるログファイルを設定するだけです。 設定は、関連するすべてのサーバーに自動的に適用されます。
構造化データ: すべてのデータはSimple Log Serviceのデータモデルに合うようにフォーマットされ、下流での消費を容易にします。
Elastic service機能: Simple Log Serviceを使用すると、大量のデータを読み書きできます。
図 1. アーキテクチャの监视システム
モニタリングシステムの構築
モニタリングデータを収集します。
Simple log Serviceでログ収集を設定し、ログを収集してSimple Log Serviceに送信できるようにします。
ミドルウェアを使用して API 操作を呼び出し、データを消費します。
SDKを使用してPullLogs操作を呼び出し、Simple log Serviceのログデータをバッチで消費し、データを下流のリアルタイムコンピューティングシステムに同期します。
Storm リアルタイムコンピューティングシステムを構築します。
Stormまたは別のタイプのリアルタイムコンピューティングシステムを選択し、コンピューティングルールを設定し、コンピューティングのメトリクスを選択してから、コンピューティング結果をTablestoreに書き込みます。
モニタリング情報を表示します。
Tablestoreに保存されているモニタリングデータを読み取り、フロントエンドGUIにモニタリングデータを表示します。 または、モニタリングデータを読み取り、データ結果に基づいて警告を設定します。